NVIDIA Nemotron 3.5 Bolt E4B: מודל פתוח של 4GB לסוכני קול ומכשירים מקומיים, ומה המספרים אומרים
NVIDIA שחררה את Nemotron 3.5 Bolt E4B 4GB ב-23 באוקטובר, מודל קטן פתוח שנבנה על Gemma 4 E4B לסוכנים שיחתיים מקומיים. מה NVIDIA פרסמה על benchmarks, זיכרון ומהירות, איפה Qwen 3.5 4B עדיין מנצח, ומה כדאי לבדוק.
NVIDIA שחררה את Nemotron 3.5 Bolt E4B 4GB ב-23 באוקטובר. זה מודל קטן פתוח לסוכנים שיחתיים מקומיים: עוזרים קוליים, דמויות משחק וממשקי רובוט או IoT. NVIDIA אומרת שהוא בנוי על Gemma 4 E4B עם post-training של Nemotron וצריך בערך 4GB בעומסי העבודה היעד שלו. כל המספרים למטה הם של NVIDIA עצמה, ולא הרצתי את המודל.
קראתי מקור ראשוני אחד: עמוד השחרור של NVIDIA, NVIDIA Nemotron 3.5 Bolt E4B 4GB. לא קראתי את הדוח הטכני, את כרטיס המודל או את מתכוני האימון שהוא מקשר אליהם.
מה זה
לפי העמוד, Bolt E4B מציע שימוש בכלים מרובה-תורנויות, מצב שיחתי שמעודד תשובות תמציתיות ומוכנות-לדיבור, reasoning ניתן להגדרה שאפשר לכבות או לכסות למען חביון, חלון הקשר של 64k, ותמיכה ב-35 שפות על בסיס שאומן מראש על יותר מ-140.
NVIDIA אומרת שהוא נותן בערך 40% איכות ממוצעת גבוהה יותר מהמודל הקודם שלה, Nemotron 3 Nano 4B, ב-benchmarks מרכזיים של סוכנים שיחתיים, ועד בערך 80% פחות טוקני פלט מעמיתים כש-reasoning מופעל.
טבלת ה-benchmarks, בקריאה זהירה
NVIDIA משווה את Bolt E4B עם Nemotron 3 Nano 4B, Qwen 3.5 4B ו-Gemma 4 E4B. היא אומרת שהתוצאות הן BF16 עם אותו מצב reasoning בין מודלים, ושמצב reasoning משתנה לפי benchmark. מבחר מהטבלאות שלה:
| Benchmark | Bolt E4B | Nano 4B | Qwen 3.5 4B | Gemma 4 E4B |
|---|---|---|---|---|
| MultiChallenge | 53.1 | 35.3 | 51.8 | 42.1 |
| IHEval (היררכיית הוראות) | 84.8 | 51.3 | 60.6 | 67.0 |
| LongMemEval | 72.1 | 25.2 | 66.8 | 70.9 |
| BFCL-v3 | 68.5 | 61.1 | 70.9 | 66.4 |
| Tau2-Bench | 55.1 | 29.2 | 75.1 | 38.5 |
| LongBench v2 (48K) | 50.5 | 31.4 | 59.9 | 49.3 |
| RULER (64K) | 87.0 | 91.5 | 95.1 | 86.5 |
הכותרת של NVIDIA היא ש-Bolt E4B מוביל את עמיתיו בממוצע. הטבלה לא מראה ניצחון נקי. Qwen 3.5 4B מקבל ציון גבוה יותר ב-Tau2-Bench (75.1 מול 55.1), BFCL-v3, LongBench v2 ו-RULER, וגם Nemotron 3 Nano 4B מנצח את Bolt ב-RULER. Bolt מוביל בהיררכיית הוראות, היצמדות לתפקיד וכמה בדיקות grounding. שניים מה-benchmarks, Brevity Bench ו-When2Call-MT, הם של NVIDIA עצמה ו"ישוחררו במועד מאוחר יותר", אז אף אחד מבחוץ לא יכול להריץ אותם מחדש עדיין.
NVIDIA גם אומרת שאף benchmark בודד לא מכסה את מה שהסוכנים האלה צריכים, וששיפורי benchmark חייבים לתרגם לאפליקציית היעד. זו ההסתייגות הנכונה.
זיכרון ומהירות
NVIDIA מדווחת על תוצאות Q4_K_M ב-batch size 1 על llama.cpp עם CUDA:
| חומרה | עומס עבודה (cache / טוקני קלט / טוקני פלט) | VRAM | זמן לטוקן ראשון | טוקנים לשנייה |
|---|---|---|---|---|
| RTX 5070 (12GB) | 0 / 3K / 50 | 3.5 GB | 548 ms | 133.4 |
| RTX 5070 (12GB) | 32k / 2K / 256 | 4.3 GB | 1,238 ms | 106.2 |
| Jetson Orin Nano (8GB) | 0 / 3K / 50 | 4.2 GB | 5,785 ms | 15.5 |
| Jetson Orin Nano (8GB) | 32k / 2K / 256 | 4.9 GB | 6,259 ms | 13.0 |
| Jetson AGX Orin (32GB) | 0 / 3K / 50 | 4.2 GB | 3,687 ms | 24.0 |
העמוד גם מפרט שורות RTX Spark. ב-Orin Nano המתנה של 5.8 שניות לטוקן הראשון לא תרגיש כמו עוזר קולי בזמן אמת. הטבלה של NVIDIA עצמה מראה את הפער בין RTX שולחני לחומרת Jetson קטנה. ההסתייגות שלה אומרת שהתוצאות משתנות עם חומרה, תוכנה ותצורה.
תרשים הדיוק מדורג על RTX 5090. NVIDIA מפרטת שתי הפניות ענן בתרשים האיכות-מול-חביון שלה: Gemini 3.8 Flash ב-77.1 עם 2,449.5 ms לטוקן ראשון, ו-Claude Sonnet 5.5 ב-76.2 עם 3,002.2 ms. לא הצלחתי לקרוא את התרשים עצמו, רק את הכיתוב שלו.
איך הוא אומן
NVIDIA אומרת שהיא השתמשה בלמידת חיזוקים עם פרסים ניתנים לאימות וממשוב אנושי, עם NeMo-RL ו-NeMo-Gym, על פני קריאת כלים, מעקב אחר הוראות, היררכיית הוראות, פלטים מובנים ועיצוב חופשי. היא שמרה על יחס 2 ל-1 של דגימות לא-reasoning ל-reasoning לכל batch, הוסיפה קנסות אורך כדי לשלוט בדיבוריות, ואז כימתה ל-Q4_K_M עם llama.cpp. השחרור כולל parallel drafter בשם DFlash שלדברי NVIDIA נותן עד 21% throughput גבוה יותר מה-drafter המקורי של Gemma 4 E4B מסוג MTP.
מה הייתי בודק
אלה הצעות שלי שלא נבדקו.
1. הריצו אותו על מכשיר היעד שלכם, עם האורכים האמיתיים של הפרומפט והכלים שלכם. המספרים של Jetson שונים מאוד מ-RTX שולחני.
2. השוו אותו עם Qwen 3.5 4B על קריאות הכלים שלכם. הטבלה של NVIDIA עצמה מראה את Qwen לפני בכמה בדיקות כלים והקשר ארוך.
3. בדקו את מתג ה-reasoning. מדדו זמן לטוקן ראשון ואיכות תשובה עם reasoning דלוק, כבוי ומכוסה.
4. בדקו סירובים לקרוא לכלים. NVIDIA מדגישה את When2Call-MT, שבודק מתי לקרוא, לבאר או להימנע. בדקו את זה עם המקרים שלכם.
5. נסו פסיקות ושיחות ארוכות. בדקו סחף של פרסונה וזיכרון על פני סשן ארוך, לא רק תורנות אחת.
6. בדקו את הרישיון בכרטיס המודל לפני שאתם שולחים במוצר. לא קראתי אותו.
מה לא הייתי מסיק
- שזה מודל ה-4B הטוב ביותר. הטבלה מראה אותו מאחורי Qwen 3.5 4B בכמה בדיקות.
- שהוא ירגיש בזמן אמת על לוחות Jetson קטנים. הנתונים של NVIDIA עצמה אומרים אחרת לגבי זמן הטוקן הראשון שם.
- שנתון ה-80% פחות טוקנים חל בלי reasoning, או על הפרומפטים שלכם.
- שהשוויון מול מודלי ענן מחזיק מעבר לממוצע הספציפי ש-NVIDIA תירשמה.
שאלות נפוצות
מהו Nemotron 3.5 Bolt E4B?
מודל שפה קטן פתוח מ-NVIDIA לסוכנים שיחתיים מקומיים, בנוי על Gemma 4 E4B עם post-training של Nemotron.
כמה זיכרון הוא צריך?
NVIDIA מדווחת על 3.1 עד 5.0 GB של זיכרון בבדיקות ה-Q4_K_M שלה על פני החומרה המפורטת.
מה אורך ההקשר שלו?
64k טוקנים, לפי NVIDIA.
באילו שפות הוא תומך?
NVIDIA אומרת 35 שפות.
האם הוא מנצח את Qwen 3.5 4B?
בממוצע של NVIDIA, כן לפי טענתה, אבל Qwen מקבל ציון גבוה יותר ב-Tau2-Bench, BFCL-v3, LongBench v2 ו-RULER בטבלה שפורסמה.
אפשר לכבות את ה-reasoning?
כן. NVIDIA מפרטת reasoning ניתן להגדרה שאפשר לבטל או לכסות.
מהו DFlash?
Parallel drafter שמגיע עם השחרור. NVIDIA אומרת שהוא נותן עד 21% throughput גבוה יותר מה-drafter המקורי של Gemma 4 E4B.
מקורות
- NVIDIA Nemotron, Nemotron 3.5 Bolt E4B 4GB (23 באוקטובר 2026): תכונות, טבלאות benchmark, נתוני חומרה והערות אימון. התרשימים, כרטיס המודל והדוח הטכני לא נקראו.
קריאה נוספת
- NVIDIA NemoClaw Open Blueprints: מה הבלוג אומר, מה המאגר והתיעוד אומרים, ומה לבדוק לפני שמריצים
הפוסט של NVIDIA מ-30 באוקטובר מציג את NemoClaw כ-blueprints פתוחים שעוטפים OpenClaw, Hermes Agent או LangChain Deep Agents עם Nemotron, כלי NeMo וה-runtime של OpenShell. קראתי את ה-README של המאגר, תיעוד הארכיטקטורה וה-blueprint manifest כדי לראות איך החלקים מתחברים וכמה בוגרים הם מצהירים שהם.
- סוכני קול שותקים בזמן שכלים רצים. התיקון של ADK של גוגל: כלי streaming ו-response_scheduling
המדריך של גוגל מ-19 באוקטובר מראה איך כלי streaming של ADK, הרצה ברקע ו-response_scheduling משאירים סוכן קולי של Gemini Live מדבר בזמן קריאות כלים איטיות. מה הוא טוען, הדפוסים, והאזהרות לפרודקשן שהוא מפרט.
- הרשאות של סוכני AI צריכות Runtime, לא פרומפט טוב יותר
OpenShell ו-Sentry של NVIDIA שמים הרשאות סוכן מחוץ למודל. מה מחסן הבטיחות החדש יכול לאכוף, מה עדיין לא הוכח, ואיך לבדוק אותו.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS