דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-10-25·8 דק׳

NVIDIA Nemotron 3.5 Bolt E4B: מודל פתוח של 4GB לסוכני קול ומכשירים מקומיים, ומה המספרים אומרים

NVIDIA שחררה את Nemotron 3.5 Bolt E4B 4GB ב-23 באוקטובר, מודל קטן פתוח שנבנה על Gemma 4 E4B לסוכנים שיחתיים מקומיים. מה NVIDIA פרסמה על benchmarks, זיכרון ומהירות, איפה Qwen 3.5 4B עדיין מנצח, ומה כדאי לבדוק.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

NVIDIA שחררה את Nemotron 3.5 Bolt E4B 4GB ב-23 באוקטובר. זה מודל קטן פתוח לסוכנים שיחתיים מקומיים: עוזרים קוליים, דמויות משחק וממשקי רובוט או IoT. NVIDIA אומרת שהוא בנוי על Gemma 4 E4B עם post-training של Nemotron וצריך בערך 4GB בעומסי העבודה היעד שלו. כל המספרים למטה הם של NVIDIA עצמה, ולא הרצתי את המודל.

קראתי מקור ראשוני אחד: עמוד השחרור של NVIDIA, NVIDIA Nemotron 3.5 Bolt E4B 4GB. לא קראתי את הדוח הטכני, את כרטיס המודל או את מתכוני האימון שהוא מקשר אליהם.

מה זה

לפי העמוד, Bolt E4B מציע שימוש בכלים מרובה-תורנויות, מצב שיחתי שמעודד תשובות תמציתיות ומוכנות-לדיבור, reasoning ניתן להגדרה שאפשר לכבות או לכסות למען חביון, חלון הקשר של 64k, ותמיכה ב-35 שפות על בסיס שאומן מראש על יותר מ-140.

NVIDIA אומרת שהוא נותן בערך 40% איכות ממוצעת גבוהה יותר מהמודל הקודם שלה, Nemotron 3 Nano 4B, ב-benchmarks מרכזיים של סוכנים שיחתיים, ועד בערך 80% פחות טוקני פלט מעמיתים כש-reasoning מופעל.

טבלת ה-benchmarks, בקריאה זהירה

NVIDIA משווה את Bolt E4B עם Nemotron 3 Nano 4B, Qwen 3.5 4B ו-Gemma 4 E4B. היא אומרת שהתוצאות הן BF16 עם אותו מצב reasoning בין מודלים, ושמצב reasoning משתנה לפי benchmark. מבחר מהטבלאות שלה:

BenchmarkBolt E4BNano 4BQwen 3.5 4BGemma 4 E4B
MultiChallenge53.135.351.842.1
IHEval (היררכיית הוראות)84.851.360.667.0
LongMemEval72.125.266.870.9
BFCL-v368.561.170.966.4
Tau2-Bench55.129.275.138.5
LongBench v2 (48K)50.531.459.949.3
RULER (64K)87.091.595.186.5

הכותרת של NVIDIA היא ש-Bolt E4B מוביל את עמיתיו בממוצע. הטבלה לא מראה ניצחון נקי. Qwen 3.5 4B מקבל ציון גבוה יותר ב-Tau2-Bench (75.1 מול 55.1), BFCL-v3, LongBench v2 ו-RULER, וגם Nemotron 3 Nano 4B מנצח את Bolt ב-RULER. Bolt מוביל בהיררכיית הוראות, היצמדות לתפקיד וכמה בדיקות grounding. שניים מה-benchmarks, Brevity Bench ו-When2Call-MT, הם של NVIDIA עצמה ו"ישוחררו במועד מאוחר יותר", אז אף אחד מבחוץ לא יכול להריץ אותם מחדש עדיין.

NVIDIA גם אומרת שאף benchmark בודד לא מכסה את מה שהסוכנים האלה צריכים, וששיפורי benchmark חייבים לתרגם לאפליקציית היעד. זו ההסתייגות הנכונה.

זיכרון ומהירות

NVIDIA מדווחת על תוצאות Q4_K_M ב-batch size 1 על llama.cpp עם CUDA:

חומרהעומס עבודה (cache / טוקני קלט / טוקני פלט)VRAMזמן לטוקן ראשוןטוקנים לשנייה
RTX 5070 (12GB)0 / 3K / 503.5 GB548 ms133.4
RTX 5070 (12GB)32k / 2K / 2564.3 GB1,238 ms106.2
Jetson Orin Nano (8GB)0 / 3K / 504.2 GB5,785 ms15.5
Jetson Orin Nano (8GB)32k / 2K / 2564.9 GB6,259 ms13.0
Jetson AGX Orin (32GB)0 / 3K / 504.2 GB3,687 ms24.0

העמוד גם מפרט שורות RTX Spark. ב-Orin Nano המתנה של 5.8 שניות לטוקן הראשון לא תרגיש כמו עוזר קולי בזמן אמת. הטבלה של NVIDIA עצמה מראה את הפער בין RTX שולחני לחומרת Jetson קטנה. ההסתייגות שלה אומרת שהתוצאות משתנות עם חומרה, תוכנה ותצורה.

תרשים הדיוק מדורג על RTX 5090. NVIDIA מפרטת שתי הפניות ענן בתרשים האיכות-מול-חביון שלה: Gemini 3.8 Flash ב-77.1 עם 2,449.5 ms לטוקן ראשון, ו-Claude Sonnet 5.5 ב-76.2 עם 3,002.2 ms. לא הצלחתי לקרוא את התרשים עצמו, רק את הכיתוב שלו.

איך הוא אומן

NVIDIA אומרת שהיא השתמשה בלמידת חיזוקים עם פרסים ניתנים לאימות וממשוב אנושי, עם NeMo-RL ו-NeMo-Gym, על פני קריאת כלים, מעקב אחר הוראות, היררכיית הוראות, פלטים מובנים ועיצוב חופשי. היא שמרה על יחס 2 ל-1 של דגימות לא-reasoning ל-reasoning לכל batch, הוסיפה קנסות אורך כדי לשלוט בדיבוריות, ואז כימתה ל-Q4_K_M עם llama.cpp. השחרור כולל parallel drafter בשם DFlash שלדברי NVIDIA נותן עד 21% throughput גבוה יותר מה-drafter המקורי של Gemma 4 E4B מסוג MTP.

מה הייתי בודק

אלה הצעות שלי שלא נבדקו.

1. הריצו אותו על מכשיר היעד שלכם, עם האורכים האמיתיים של הפרומפט והכלים שלכם. המספרים של Jetson שונים מאוד מ-RTX שולחני.

2. השוו אותו עם Qwen 3.5 4B על קריאות הכלים שלכם. הטבלה של NVIDIA עצמה מראה את Qwen לפני בכמה בדיקות כלים והקשר ארוך.

3. בדקו את מתג ה-reasoning. מדדו זמן לטוקן ראשון ואיכות תשובה עם reasoning דלוק, כבוי ומכוסה.

4. בדקו סירובים לקרוא לכלים. NVIDIA מדגישה את When2Call-MT, שבודק מתי לקרוא, לבאר או להימנע. בדקו את זה עם המקרים שלכם.

5. נסו פסיקות ושיחות ארוכות. בדקו סחף של פרסונה וזיכרון על פני סשן ארוך, לא רק תורנות אחת.

6. בדקו את הרישיון בכרטיס המודל לפני שאתם שולחים במוצר. לא קראתי אותו.

מה לא הייתי מסיק

  • שזה מודל ה-4B הטוב ביותר. הטבלה מראה אותו מאחורי Qwen 3.5 4B בכמה בדיקות.
  • שהוא ירגיש בזמן אמת על לוחות Jetson קטנים. הנתונים של NVIDIA עצמה אומרים אחרת לגבי זמן הטוקן הראשון שם.
  • שנתון ה-80% פחות טוקנים חל בלי reasoning, או על הפרומפטים שלכם.
  • שהשוויון מול מודלי ענן מחזיק מעבר לממוצע הספציפי ש-NVIDIA תירשמה.

שאלות נפוצות

מהו Nemotron 3.5 Bolt E4B?

מודל שפה קטן פתוח מ-NVIDIA לסוכנים שיחתיים מקומיים, בנוי על Gemma 4 E4B עם post-training של Nemotron.

כמה זיכרון הוא צריך?

NVIDIA מדווחת על 3.1 עד 5.0 GB של זיכרון בבדיקות ה-Q4_K_M שלה על פני החומרה המפורטת.

מה אורך ההקשר שלו?

64k טוקנים, לפי NVIDIA.

באילו שפות הוא תומך?

NVIDIA אומרת 35 שפות.

האם הוא מנצח את Qwen 3.5 4B?

בממוצע של NVIDIA, כן לפי טענתה, אבל Qwen מקבל ציון גבוה יותר ב-Tau2-Bench, BFCL-v3, LongBench v2 ו-RULER בטבלה שפורסמה.

אפשר לכבות את ה-reasoning?

כן. NVIDIA מפרטת reasoning ניתן להגדרה שאפשר לבטל או לכסות.

מהו DFlash?

Parallel drafter שמגיע עם השחרור. NVIDIA אומרת שהוא נותן עד 21% throughput גבוה יותר מה-drafter המקורי של Gemma 4 E4B.

מקורות

  • NVIDIA Nemotron, Nemotron 3.5 Bolt E4B 4GB (23 באוקטובר 2026): תכונות, טבלאות benchmark, נתוני חומרה והערות אימון. התרשימים, כרטיס המודל והדוח הטכני לא נקראו.

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS