דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-10-18·6 דק׳

ל-MAI-Base-2 של Microsoft יש 2.8 טריליון פרמטרים. מה Microsoft טוענת, ומה מודל בסיס לא אומר לכם

Microsoft AI פרסמה פרטים על MAI-Base-2, מודל בסיס MoE עם 80B פרמטרים פעילים ו-2.8T סך הכל. מה הפוסט מצהיר על אימון, השוואות ורישוי, ולמה מודל בסיס מאומן-מראש הוא עוד לא מוצר שאפשר להשתמש בו.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

ב-15 באוקטובר, Microsoft AI פרסמה פוסט על MAI-Base-2, מודל בסיס חדש שלדבריה יש לו 80 מיליארד פרמטרים פעילים ו-2.8 טריליון סך הכל.

זה פוסט טכני על pre-training, לא השקת מוצר. ההבחנה הזו משנה לבונים. המאמר הזה מכסה מה Microsoft מצהירה, מה היא אומרת על איך המודל משתווה, ומה אי אפשר להסיק מזה. הכל בא מהפוסט של Microsoft, אז ההשוואות הן של הספק עצמו.

מה Microsoft אומרת

לפי הפוסט:

  • MAI-Base-2 הוא מודל יסוד מסוג mixture-of-experts, עם 80B פרמטרים פעילים ו-2.8T סך הכל.
  • הוא אומן על 16,000 GPUs מסוג GB200 על פני 38 ימים באוגוסט וספטמבר 2026.
  • ניצול FLOPs ממוצע של מודל (MFU) היה 21%, ו-goodput, חלק הזמן שהאימון התקדם, היה 89%. Microsoft אומרת ש-MFU מנורמל לפי 2.5 PFLOPS ל-GB200 ב-BF16 ומחריג rematerialization ו-FLOPs של האופטימייזר.
  • הוא בא אחרי MAI-Base-1 ומודל יוני MAI-Thinking-1, שעבר post-training על גבי MAI-Base-1.
  • MAI-Base-2 עובר כרגע post-training, ו-Microsoft אומרת שהיא תשתף עוד תוצאות בקרוב.

טענות ההשוואה

Microsoft אומרת ש-MAI-Base-2 עולה על כל מודל open-weight שבדקה בהערכות ה-held-out שלה, ומשיג bits-per-byte (BPB, נמוך יותר טוב יותר) נמוך יותר מהאחרים בבדיקות האלה. היא אומרת שהמודל יעיל פי 4 עד 12 ב-FLOPs של pre-training מ-DeepSeek-V4-Pro-Base, שהיא קוראת לו מודל הבסיס הפתוח החזק ביותר.

כמה פרטים על איך היא השוותה, מהפוסט:

  • היא השוותה מול checkpoints זמינים לפני אוקטובר 2026: DeepSeek-V4-Pro-Base, Kimi K3, Qwen3.8-2.4T-A95B ו-MiMo-V2.6-Pro-RL.
  • לשלושת האחרונים, קיימים רק checkpoints שעברו post-training, אז Microsoft מציינת ש-post-training עלול להשפיע על התוצאות.
  • הערכת קוד held-out משתמשת ב-codebase של Microsoft עצמה. הערכות STEM, מתמטיקה ושאלות-תשובות הוזמנו מספקים כדי להקטין סיכון זיהום, וכל הסטים נוקו מזיהום מול נתוני האימון שלה.
  • היא אומרת ש-DeepSeek-V4-Pro-Base אומן על פחות FLOPs משמעותית מ-MAI-Base-2, ולכן היא מעריכה יעילות בנפרד מתוצאות גולמיות.

אלה מדידות ש-Microsoft תכננה והריצה. לא ראיתי שכפול עצמאי, ולא סקרתי את הנתונים בפוסט.

רעיונות האימון שהיא מדגישה

Microsoft מכנה שלוש יוזמות: מדע סקיילינג, תכנון-משותף מודל-תשתית (מימושי MoE ו-Muon משופרים, ו-activation gradient clipping), וסקיילינג נתונים, כולל נתוני ראייה.

טכניקה אחת שהיא מתארת היא scaling ladder: משפחת מודלים בגדלים שונים עם מתכון קבוע, שבה מספר השכבות קובע את הארכיטקטורה. כדי לטפל בנתונים חוזרים בסקייל קטן, היא משתמשת במה שהיא קוראת source scaling, שמגביל את המדגמים הייחודיים כך שכל dataset חוזר אותו מספר פעמים ללא קשר לאורך הריצה. Microsoft אומרת שזה עזר לתוצאות לעבור בין סקיילים והיה מפתח לאימון אמין של מודל 2.8T.

טענות רישוי ונתונים

הפוסט אומר שה-pre-training של Microsoft בנוי על נתונים אורגניים ולא כולל distillation ממודלים אחרים. הוא אומר שהמקור הזה יאפשר ל-Microsoft לרשות משקלי מודל לשותפים מהימנים דרך Foundry. הוא לא אומר מתי, או באילו תנאים.

מה אי אפשר להסיק

  • זה לא זמין לשימוש. הפוסט מתאר מודל בסיס שעדיין ב-post-training. לא מצאתי בו תאריך שחרור או תמחור.
  • תוצאות מודל בסיס הן לא תוצאות צ'אט או סוכן. BPB מודד כמה טוב מודל חוזה טקסט held-out. הוא לא אומר לכם כמה טוב הוא עוקב אחר הוראות או מריץ כלים.
  • טענות יעילות הן יחסית לייחוס נבחר. נתון פי 4 עד 12 משווה מול מודל פתוח אחד, עם חוקי הסקיילינג המותאמים של Microsoft.
  • גודל הוא לא איכות. אני לא מסיק דירוג ממספרי פרמטרים.

על מה הייתי שומר עין

אלה הצעות שלי.

1. שחרור מודל שעבר post-training עם API או רישום ב-Foundry.

2. תוצאות benchmark עצמאיות מצדדים שלישיים.

3. תנאי רישוי המשקלים דרך Foundry, אם וכשיפורסמו.

4. תמחור, כי מודל גדול יותר משנה את תמונת העלות לשימוש מתארח.

שאלות נפוצות

מהו MAI-Base-2?

מודל בסיס מסוג mixture-of-experts מ-Microsoft AI עם 80B פרמטרים פעילים ו-2.8T סך הכל, לפי הפוסט שלה.

אפשר להשתמש בו היום?

הפוסט אומר שהוא עובר post-training. הוא לא מכריז על זמינות.

איך הוא אומן?

על 16,000 GPUs מסוג GB200 על פני 38 ימים באוגוסט וספטמבר 2026, עם 21% MFU ממוצע ו-89% goodput, לפי Microsoft.

איך הוא משתווה למודלים אחרים?

Microsoft אומרת שהוא מנצח כל מודל open-weight שבדקה בהערכות held-out, עם BPB. אלה תוצאות שלה עצמה.

מהי טענת היעילות?

שהוא יעיל פי 4 עד 12 ב-FLOPs של pre-training מ-DeepSeek-V4-Pro-Base.

האם המשקלים יורשו?

Microsoft אומרת שהיא מצפה לרשות משקלים לשותפים מהימנים דרך Foundry. לא ניתנו תנאים בפוסט.

האם זה אומר לי כמה הוא טוב בסוכנים או קידוד?

לא. הוא מדווח תוצאות pre-training, לא התנהגות אחרי post-training.

מקורות

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS