Edge0-145B: סוכן קוד עם 145 מיליארד פרמטרים שרץ על כרטיס מסך צרכני אחד
Edge0 שחררה את Edge0-145B, מודל latent MoE פתוח במשקולות עם 145 מיליארד פרמטרים לעבודת קוד וסוכנים מקומית. המודל מפעיל כ-10 מיליארד פרמטרים לטוקן, מחזיק הקשר של 256K, ולפי היצרן מגיע ל-121 טוקנים לשנייה ב-decode של סוכן על RTX 5090 D יחיד. המשקולות, מנוע ההסקה ואפליקציית דסקטופ זמינים כבר עכשיו, תחת רישיון קהילתי שמגביל מוצרי אסיסטנט מסחריים.
Edge0 שחררה השבוע את Edge0-145B, והטענה ראויה לתשומת לב: מודל עם 145 מיליארד פרמטרים, שנבנה לעבודת קוד וסוכנים, רץ על כרטיס מסך צרכני אחד או על Mac עם Apple Silicon, עם משקולות שאפשר להוריד כבר היום. לפי היצרן המודל מגיע ל-121.2 טוקנים לשנייה ב-decode של סוכן על RTX 5090 D עם 24GB אחד, ולשיא זיכרון מדוד של 29GB בהקמה ברמת לפטופ, עם ציוני בנצ'מרק באותה טבלה של מודלי ענן חזיתיים. אם המספרים האלה יעמדו בבדיקה עצמאית, הכלכלה של הרצת סוכן קוד רציני משתנה: בלי חשבון טוקנים, בלי דאטה שיוצא מהמכונה, בלי תלות ברשת. כל נתוני הביצועים והבנצ'מרקים כאן מדווחים על ידי היצרן; לא הרצתי את המודל בעצמי.
מה זה בעצם Edge0-145B
Edge0-145B הוא מודל latent mixture-of-experts שנגזר מ-Qwen3.8-Flash-Next, אבל נבנה מחדש ולא רק עבר קוונטיזציה. Edge0 החליפה את שכבת ה-experts המנותבים בכל 48 השכבות: כל טוקן מוקרן למטה לרוחב latent צר (1,792 ב-145B), ה-experts מחשבים שם, והתוצאה מוקרנת חזרה לרוחב המלא 2,560. אחר כך המודל עבר post-training על הדאטה של Edge0 ואומן מלכתחילה ב-4 ביט, כך שמדובר לא בקוונטיזציה שלאחר האימון.
המספרים הראשיים מכרטיס המודל:
- 145 מיליארד פרמטרים בסך הכל, 10.12 מיליארד פעילים לטוקן
- 48 שכבות, 512 experts לשכבה, 10 מנותבים ועוד אחד משותף פעילים לטוקן
- הקשר של 256K, עם KV cache ב-int8 ו-32K טוקנים resident
- ראש טיוטה MTP עם 1.26 מיליארד פרמטרים ל-speculative decoding
- שתי גרסאות build: Q3_K עם 40.81 GiB של משקולות, NVFP4 עם 47.79 GiB
יש גם אח עם 120 מיליארד פרמטרים (רוחב latent 1,280, 60.4 מיליארד פרמטרי experts מנותבים) שמחליף קצת איכות במהירות: לפי היצרן 144.6 טוקנים לשנייה ב-agent decode על אותו RTX 5090 D.
הבנייה מחדש קיצצה 30% מפרמטרי ה-experts המנותבים מול בסיס Qwen (84.6 מיליארד מול 120.8 מיליארד) וכיווצה כל expert לרשומה קבועה של 1.63MB. בתקציב מוגבל של 16GB VRAM ועוד 20GB זיכרון מערכת, Edge0 מדווחת על 36.8 טוקנים לשנייה ב-chat decode ל-145B שם שבסיס Qwen מגיע ל-18.5, שיפור של כפי 2 משינוי הארכיטקטורה לבדו.
נתוני המהירות והזיכרון, כולם מדווחי יצרן
ה-README ב-GitHub מפרסם טבלת throughput מלאה. השורות שמעניינות את רוב המפתחים:
| מכונה | Build | Prefill של 16K | Chat decode | Agent decode |
|---|---|---|---|---|
| RTX 5090 D 24GB | Q3_K | 3,554.9 | 99.7 | 121.2 |
| RTX 4090 24GB | Q3_K | 3,179.4 | 69.9 | 91.7 |
| RTX Spark N1X 60GiB | NVFP4 | 922.4 | 40.1 | 46.0 |
| Apple M2 Ultra (Metal) | Q3_K | 800.3 | 60.9 | 57.0 |
| 16GB VRAM + 20GB RAM (מוגבל) | Q3_K | 335 | 36.8 | 44.9 |
שתי הערות כנות על הטבלה. ראשית, שורת התקציב המוגבל היא אותו RTX 5090 D שצומצם מלאכותית, לא כרטיס זול; היא מראה שהמנוע מתדרדר בחינניות, לא שהקמה בינונית תהיה מהירה. שנית, טענות הלפטופ בבלוג ההשקה (מעל 80 טוקנים לשנייה ב-decode, שיא של 29GB, בערך 120W) מתארות קונפיגורציה מקצה עליון. שורת Apple Silicon המדודה ב-README היא M2 Ultra עם בערך 57 עד 61 טוקנים לשנייה, אז כדאי להתייחס למספרי הלפטופ כמקרה אופטימלי עד שמישהו ישחזר אותם.
בנצ'מרקים: תחרותי בקוד סוכני, עם כוכביות הרגילות
טבלת ההערכה של Edge0 עצמה ממקמת את ה-145B מעל בסיס Qwen שלו ומעל DeepSeek-V4-Flash-0731 בבנצ'מרקים של קוד סוכני:
| מודל | DeepSWE 1.1 | Terminal-Bench 2.1 | GPQA-Diamond | IFBench |
|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 90.4 | 80.6 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 91.7 | 81.3 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 90.8 | 79.2 |
| Claude-Opus-4.6 (Max) | אין ציון פומבי | 78.2 | 91.3 | 62.5 |
הממוצע על שישה בנצ'מרקים הוא 72.8 ל-Edge0-145B מול 71.7 ל-Qwen3.8-Flash-Next, במה ש-Edge0 טוענת שהוא כ-40% מטביעת הרגל בזיכרון (29GB מדודים מול בערך 70GB משוערים לפריסת 4 ביט סטנדרטית של מודל Qwen).
כל מה שבטבלה מגיע מהערכות פנימיות של Edge0, וחלק מציוני המתחרים מצוטטים ממעריכים חיצוניים. מה שכדאי לשים לב אליו הוא לא הציונים המדויקים אלא הצורה: יתרון המודל מתרכז בקוד סוכני ובעבודת טרמינל, מה שמתאים למטרה שלשמה הארכיטקטורה נבנתה מחדש. שחזור עצמאי הוא הדבר הבא שכדאי לעקוב אחריו.
איך מודל של 145 מיליארד נכנס על כרטיס אחד
סיפור ההנדסה הוא החלק המעניין, והוא בא בארבע שכבות.
#### Latent MoE שומר על רשומות experts זעירות
כי ה-experts מחשבים ברוחב ה-latent של 1,792 במקום ברוחב מלא, כל expert הוא רשומה קבועה של 1.63MB. כל מאגר ה-experts הוא 37.32 GiB על הדיסק ב-Q3_K. המנוע יכול לכן להחזיק כמה אלפי experts על הכרטיס ולהזרים את השאר, בעלות שתלויה בכמה experts שמורים ולא בגודל המודל.
#### טעינה תלת-שכבתית שמחפיפה אחסון, RAM ו-VRAM
Experts חמים נשארים ב-VRAM, ספריית experts של בערך 40GB יושבת בזיכרון המערכת, ודאטת אוצר מילים נמצאת על ה-SSD ונקראת לפי דרישה. קריאות וחישוב מחפיפים על פני שלוש השכבות. מודל ה-145B על כרטיס 24GB עובד כי המנוע מחזיק סטים זרים של experts ב-VRAM וב-RAM (23.14 GiB ועוד 31.28 GiB ב-Q3_K, בלי ספירה כפולה) ויכול לנסוג אחורה אל ה-SSD במצב mmap כשה-RAM צפוף.
#### Router שמנבא צעד קדימה
הדוח הטכני של ה-35B (arXiv 2609.18063) מתאר את הטריק שמתחת: הניתוב נחזה צעד מראש, כך שהמנוע מביא מראש (prefetch) את ה-experts שהוא עומד לצרוך במקום להיתקע על טעינות. מפת הדרכים דוחפת את זה רחוק יותר, מניבוי ניתוב לכל פוזיציה אל ניבוי אחד לכל בלוק.
#### Speculative decoding שמחלק את קריאות המשקולות
מודל טיוטה של 1.26 מיליארד פרמטרים מציע כמה טוקנים בכל צעד אימות, כך שכל מעבר יקר על המשקולות מייצר יותר פלט. זה חלק מהסיבה ש-agent decode (121.2 טוקנים לשנייה) מנצח את chat decode (99.7) על אותה חומרה.
להריץ בעצמכם
הכלים שלמים בצורה חריגה לשחרור טרי. edge0-infer הוא מנוע C++ יחיד (מבוסס GGML, Apache-2.0) עם API אחד על פני פלטפורמות. שתי פקודות מכסות את רוב השימוש:
edge0-infer serve --model /path/to/Edge0-145B-q3k
edge0-infer chat --model /path/to/Edge0-145B-q3k
פקודת serve חושפת endpoints תואמי OpenAI ו-Anthropic על localhost:8000, כך שערכות סוכנים קיימות יכולות להצביע עליו עם שינוי base URL. יש גם אפליקציית דסקטופ Edge0 Chat ל-Windows ול-macOS שמורידה מודלים מ-Hugging Face או ModelScope מתוך האפליקציה, ומקודד וידאו אופציונלי (mmproj-BF16.gguf) שמוסיף קלט תמונות.
תמיכת פלטפורמות ל-145B ול-120B: Linux או Windows עם כרטיס NVIDIA על CUDA 13, או macOS על Apple Silicon דרך Metal (Q3_K בלבד). אין iOS או Android לדרגה הזו. כרטיס מסך שני יכול להחזיק את ה-experts העודפים בלי NVLink או P2P, נתיב שדרוג פרקטי אם כרטיס 24GB אחד מרגיש צפוף.
הרישיון הוא הקאץ'
ה-framework הוא Apache-2.0 ופיצול המנוע שומר על רישיון MIT, אבל משקולות המודל יושבות תחת Edge0 Community Model License 1.0, וזה לא היתר כללי. שימוש אישי, מחקר, חינוך, שינוי, שיתוף לא מסחרי, שימוש פנימי ושימוש מסחרי בפלטים של המודל כולם מותרים. שלושה דברים דורשים רשות בכתב נפרדת מ-Edge0:
- מכירה או הפצה בתשלום של המודל עצמו, כולל חבילות מסחריות שהערך המרכזי שלהן הוא גישה למודל
- שירותי מודל מסחריים שמציעים הסקה או כיוונון עדין (fine-tuning) בתמורה לתשלום, מנויים או פרסום
- אסיסטנטים מסחריים עצמאיים לקוד או למשרד, בין אם ההסקה רצה על השרת שלכם או על מכשיר המשתמש
הסעיף השלישי רלוונטי בדיוק לקהל שקורא את זה. לבנות אסיסטנט קוד מסחרי על המשקולות האלה לא מכוסה ברישיון ברירת המחדל; צריך לדבר עם Edge0 קודם. כלים פנימיים בחברה שלכם מכוסים. רישיון ה-upstream של Qwen עדיין חל מעל הכל.
מה לא הצלחתי לאמת
כל נתון ביצועים, ציון בנצ'מרק והדגמה במאמר הזה מגיעים מהבלוג, ה-README וכרטיסי המודל של Edge0. אף אחד מחוץ לחברה עוד לא פרסם הרצות בנצ'מרק עצמאיות, סרטוני ההדגמה מופקים על ידי היצרן, וטענות הסולם של התיק (15 מיליון הורדות, 5 מיליון מכשירי ייצור, 110,000 ארגוני לקוחות) הן נתוני חברה שאי אפשר לבדוק. טענות ההספק והמהירות ברמת לפטופ בפרט ראויות לספקנות עד שישוחזרו. מה שכן ניתן לאימות היום: המשקולות באמת זמינות להורדה, קוד המנוע פתוח עם ריפוזיטורי פעיל (בערך 12,000 כוכבים), טקסט הרישיון אומר את מה שתיארתי, ופרטי הארכיטקטורה מתועדים בעומק חריג, כולל פירוטי שהיית זיכרון מדויקים שמזמינים שחזור.
שאלות נפוצות
האם Edge0-145B באמת יכול לרוץ על כרטיס מסך צרכני אחד?
כן, עם דיוק לגבי מה זה "לרוץ". הטבלה של היצרן עצמו מראה 91.7 טוקנים לשנייה ב-agent decode על RTX 4090 24GB ו-121.2 על RTX 5090 D, על ידי פיצול מאגר ה-experts בין VRAM לזיכרון מערכת והזרמת השאר. צריך את ה-RAM שיתאים: גרסת Q3_K מחזיקה בערך 31GB של experts בזיכרון המארח על כרטיס 24GB.
איזו חומרה צריך במינימום?
Edge0 בדקה עד תקציב של 16GB VRAM ועוד 20GB זיכרון מערכת ועדיין קיבלה 36.8 טוקנים לשנייה ב-chat decode, אבל זה היה RTX 5090 D מצומצם, לא כרטיס זול. ריאלית: כרטיס NVIDIA עם 24GB, 64GB או יותר של זיכרון מערכת, ו-SSD מהיר. מחשבי Mac עם Apple Silicon מריצים את גרסת Q3_K דרך Metal, עם M2 Ultra שנמדד בבערך 57 עד 61 טוקנים לשנייה.
האם Edge0-145B מספיק טוב כדי להחליף מודל קוד מהענן?
בבנצ'מרקים הסוכניים של היצרן עצמו הוא מנצח את בסיס Qwen שלו ואת DeepSeek-V4-Flash ויושב קרוב ל-Claude Opus 4.6 בחלק מהשורות, אבל אלה מספרים פנימיים ולמודלי ענן יש יתרונות משלהם באמינות לאורך זמן. התשובה הכנה: מבטיח מספיק כדי להעריך על הקוד שלכם, לא מוכח מספיק כדי לבטל את מפתחות ה-API.
במה Edge0-145B שונה מקוונטיזציה פשוטה של Qwen3.8-Flash-Next?
הארכיטקטורה השתנתה, לא רק הדיוק. Edge0 בנתה מחדש את שכבת ה-experts המנותבים בכל 48 השכבות ל-latent MoE, קיצצה 30% מפרמטרי ה-experts המנותבים וכל expert לרשומה של 1.63MB, ואז עשתה post-training לתוצאה מלכתחילה ב-4 ביט. על אותו תקציב זיכרון מוגבל היצרן מדווח על כפליים במהירות ה-decode מול בסיס Qwen.
האם Edge0-145B חינמי לשימוש מסחרי?
שימוש פנימי ושימוש מסחרי בפלטים של המודל מותרים. מכירת המודל, הצעתו כשירות הסקה או כיוונון עדין בתשלום, או בניית אסיסטנט קוד או משרד מסחרי עצמאי עליו, כולם דורשים רשות בכתב מ-Edge0. רישיון ה-upstream של Qwen חל גם כן.
האם Edge0-145B עובד אופליין?
כן לליבת המודל: המשקולות, המנוע וההסקה של אפליקציית הדסקטופ כולם רצים מקומית בלי חשבון או מכסה. כל דבר שצריך מידע עדכני או שירותים חיצוניים כמובן עדיין צריך חיבור.
מה ההבדל בין ה-145B ל-120B?
אותה משפחת ארכיטקטורה, רוחב latent שונה (1,792 מול 1,280) ומאגר experts קטן יותר ב-120B (60.4 מיליארד מול 84.6 מיליארד פרמטרים מנותבים). ה-120B מהיר משמעותית (144.6 טוקנים לשנייה ב-agent decode על RTX 5090 D) ומשיג פחות בבנצ'מרקים של קוד (51.3 מול 64.6 ב-DeepSWE 1.1). אם חביון חשוב יותר מאיכות שיא, ה-120B הוא הבחירה הפרקטית.
מקורות
קריאה נוספת
- LongCat-2.5: Meituan משחררת מודל סוכנים של 1.6T פרמטרים ברישיון MIT, מאומן ומוגש בלי Nvidia
צוות LongCat של Meituan שחרר את המשקלים של LongCat-2.5: מודל mixture-of-experts עם 1.6 טריליון פרמטרים, כ-48B פעילים לטוקן, הבנת תמונה מלידה, קונטקסט של 512K טוקנים ורישיון MIT. האימון והפריסה הרפרנסית רצים כולם על מאיצים סיניים מקומיים, עם quantization של W4A4 INT4 שלטענת הצוות משמר דיוק קרוב למלוא הדיוק. בבנצ'מרקים של היצרן הוא קרוב ל-Claude Opus 5 בקידוד סוכנתי, ומתחתיו במשימות terminal. אירוח עצמי דורש אשכול רציני.
- SenseNova Loop-9B: המודל בן 9B הפרמטרים של SenseTime שמריץ את השכבות שלו פעמיים
SenseNova Loop-9B של SenseTime משתמש מחדש ב-24 שכבות משותפות כדי להפיק 56 חישובי שכבה מכ-9B פרמטרים, טוען לשוויון ביצועים עם Qwen3.8-27B במבחני הספק, ומריץ הקשר של 256K טוקנים בכ-15 GB זיכרון GPU. מה שבונים צריכים לדעת לפני ההורדה.
- GPT-6.2 Astra ו-Sol: התשובה של OpenAI למלחמת מחיר-ביצועים
OpenAI שחררה ב-17 בנובמבר 2026 את GPT-6.2 Astra ו-Sol: מודל חזית לעבודה המקצועית הקשה ביותר ב-8 דולר למיליון טוקני קלט, ומודל יומיומי ששומר על מחירי GPT-6.1 Sol. ההשקה נשענת על טענות עלות-למשימה במדדי משפט, מדע, קוד ותלת-ממד, משיקה את שני המודלים ב-ChatGPT Work, ב-Codex וב-API, וכוללת גילוי נדיר: Astra הוא המודל החיצוני הראשון של OpenAI שמגיע לסף High בשיפור-עצמי של AI.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS