דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-10-10·7 דק׳

Epoch בדקה אם AI יכול לעשות את העבודה של Epoch. הכשלונות מראים איפה סוכנים צריכים שער אנושי

Epoch AI נתנה לשישה מודלים משימות אמיתיות מהעבודה שלה עצמה. מודלי חזית היו אמינים בצעדים מוגדרים וחלשים בשיפוט. מה זה אומר על ההחלטה אילו חלקים מזרימת עבודה סוכן יכול להחזיק.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

Epoch AI עשתה משהו שרוב כותבי ה-benchmarks לא עושים. היא נתנה לשישה מודלים משימות אמיתיות מהעבודה היומיומית שלה עצמה, דירגה את התוצאות מול הסטנדרטים שלה, ופרסמה שהמודלים עוד לא יכולים לאוטמט את העבודה שלה.

החלק השימושי הוא לא הדירוג. זו הצורה של הכשלונות. המודלים היו אמינים בצעדים מוגדרים-היטב וחלשים בשיפוט סביבם. זה מדריך מעשי להחלטה איפה סוכן יכול להחזיק צעד ואיפה אדם צריך להישאר בלולאה.

מה Epoch בדקה

ב-8 באוקטובר, Epoch פרסמה את "Can AI automate Epoch?" מאת Kelly Hong ו-Greg Burnham. הסוויטה מכילה 11 משימות על פני חמש קטגוריות: עיצוב גרפי, Data Insights, Data Explorers, מחקר דטה-סנטרים של AI, ומשימת תכנון-מחקר.

Epoch אומרת שהיא נתנה לכל מודל את המשאבים הרלוונטיים והרשאות מלאות בסביבת העבודה ובחשבון Google שלה, לפי עקרון מתן כמה שיותר קונטקסט כפי שהייתה נותנת לעובד חדש. ששת המודלים היו GPT-6 Astra, Claude Fable 5.1, Grok 4.6, Gemini 3.8 Flash, Kimi K3 ו-Qwen 3.8 Max, כל אחד על ה-harness שלו בהגדרת ה-reasoning הגבוהה ביותר.

Epoch גם מפרטת את המגבלות שלה. היא הריצה כל מודל פעם אחת למשימה, השתמשה במדרג אנושי בודד, ודירגה מול הסטנדרטים של Epoch עצמה. היא אומרת שהציונים רועשים ולא צריכים להיקרא כמדד כללי למה AI יכול לעשות על פני משימות עבודה. Epoch אומרת שהממצאים האיכותניים שלה אינפורמטיביים יותר מהמספרים. AI Insiders עושה את אותה נקודה על הדירוג.

לא הרצתי את המבחנים האלה בעצמי. כל מה שלמטה הוא התוצאה המדווחת של Epoch.

איפה מודלי החזית היו אמינים

Epoch אומרת ש-Fable 5.1 ו-GPT-6 Astra היו שווים באופן רחב בראש. ההובלה שלהם באה מאמינות בחלקים מוגדרים-היטב של המשימות, כמו קידוד וניתוח חישובי, שם הפלטים היו מדויקים בעקביות.

Epoch גם מדווחת ששימוש-במחשב היה מסוגל הרבה יותר ממה שציפתה. מוקדם יותר השנה, מודלים סגורי-משקל של חזית נכשלו בהעברת מאמר ל-Substack, ומודלים חדשים יותר הצליחו. היא הסירה משימת עיצוב גרפי אחת, עיצוב-מחדש של תרשים Matplotlib לסגנון הבית, כי Fable 5.1 ייצר פלט באיכות-Epoch. Epoch אומרת שהיא עכשיו מאוטמטת את הצעד ההוא ברובו.

זה הדפוס שכדאי לשים לב אליו. צעד עם קלטים ברורים, סטנדרט ברור ותוצאה ניתנת לבדיקה הוא מועמד טוב לסוכן.

איפה הם נפלו

ממצאי המפתח של Epoch מתארים את הפערים בעבודה פתוחה.

קליטת סטנדרטים. מודלים פספסו מוסכמות מרומזות כמו סגנון ויזואלי ומה הקהל אכפת לו, אפילו עם חומר ייחוס. בדוגמה אחת, Epoch אומרת ש-Fable 5.1 ייצר גרפיקה הרבה יותר עמוסת-מידע מהעבודה הטיפוסית שלה, ושהמידע הנוסף לא עזר להסביר את הרעיון.

תכנון ניסויים. Epoch אומרת שמודלים יכולים לציין כיווני מחקר מבטיחים אבל מתקשים לתכנן ניסוים שמודדים את מה שהם טוענים.

תוצאות פגומות שמוצגות כממצאים. Epoch מתארת פיילוט שבו תקרת הטוקנים של המודל עצמו, 4,096, קטעה 61 מתוך 280 תגובות לפני שהן ציינו קלט. המודל שם לב והעלה את התקציב, אבל הכתבה שלו עדיין מסגרה את האפקט כ"רגישות לתקציב הרכישה". Epoch קוראת למיסגור ההוא מטעה, כי המודלים לא הצליחו לייצר תשובה בכלל.

התכנסות. על משימות עם מרחב רעיונות גדול, Epoch אומרת שמודלים לעתים קרובות התכנסו לרעיונות דומים. במשימת הסקרים שלה, שלושה מודלים שונים בחרו את אותו נושא.

מודלים פתוחי-משקל. Epoch אומרת שהם פיגרו רחוק יותר, מתקשים אפילו במשימות מוגדרות-היטב. בדוגמה אחת, היא אומרת ש-Kimi K3 בנה תובנה על טעות סינון נתונים ומעולם לא בדק שהמסנן שלו עובד.

דרך לפצל זרימת עבודה

התוצאה של Epoch מציעה פיצול פשוט. הייתי מחיל אותו על כל זרימת עבודה סוכנתית לפני שמחליטים כמה למסור.

סוג צעדדוגמהבעל מוצע
מוגדר-היטב, ניתן לבדיקהעצב מחדש תרשים לסטנדרד מתועדסוכן, עם בדיקה אוטומטית
מוגדר-היטב, סיכון כשלון שקטסנן מערך נתוניםסוכן, עם בדיקת שפיות על ספירות והיקף
שיפוט על מה למדודתכנן את הניסויאדם, או סוכן עם אדם שמאשר את התכנון
שיפוט על מה תוצאה אומרתהחלט מה הפיילוט מוכיחאדם
טעם והתאמת קהלבחר סגנון, צפיפות, נושאאדם, עד שהסטנדרטים כתובים ונבדקים

הטבלה הזו היא המיסגור שלי, לא משהו ש-Epoch פרסמה. זו דרך ליישם את הממצאים שלהם.

שערים שתופסים את הכשלונות האלה

כל כשלון ש-Epoch מתארת ממופה לשער זול.

  • לטעויות סינון שקטות: לדרוש מהסוכן לדווח ספירות שורות לפני ואחרי כל סינון, ולציין את האוכלוסייה שהתוצאה מכסה.
  • להקמות פגומות שמוצגות כממצאים: לדרוש קטע נפרד שמפרט בעיות הקמה ידועות, ולאסור על הסוכן להציג תוצאה כממצא מפתח אם בעיה מפורטת יכולה להסביר אותה.
  • לתכנוני ניסוי מעורפלים: לבקש את הפרוצדורה המדויקת והמדידה המדויקת, ולתת לאדם לבדוק שהמדידה עונה על השאלה.
  • לסטנדרטים חסרים: לכתוב את הכללים המרומזים. אם עורך אנושי היה אומר "אנחנו אף פעם לא עושים את זה", שימו את זה בהוראות ובדקו על כמה דוגמאות.
  • להתכנסות: אם אתם רוצים רעיונות מגוונים, דגמו כמה ריצות והשוו, במקום לסמוך על ריצה בודדת שתחקור את המרחב.

אף אחד מאלה לא צריך כלי חדש. אלו הרגלי סקירה שמיושמים בנקודות שבהן Epoch ראתה צרות.

מה לא להסיק

אל תקראו את זה כ"AI לא יכול לעשות עבודה אמיתית". Epoch עצמה מדווחת שמודלים טיפלו באמינות בצעדי קידוד, ניתוח ושימוש-במחשב, ושמשימת עיצוב אחת מאוטמטת עכשיו ברובה בזרימת העבודה שלה.

גם אל תקראו את זה כדירוג כללי. אחת-עשרה משימות, ריצה אחת לכל אחת, מדרג בודד ו-harnesses שונים לכל מודל הם בסיס קטן. Epoch אומרת שה-harness עשוי להסביר חלק מההבדלים.

ואל תניחו שהעבודה שלכם נראית כמו של Epoch. Epoch תחמה את המשימות לעבודה שלה ודירגה אותן לפי הסטנדרטים שלה. המהלך הנכון הוא להריץ את אותו סוג מבחן על זרימת העבודה שלכם: בחרו משימות שאתם כבר יודעים איך לדרג, הריצו אותן, וראו איפה הפלט צריך אדם.

שאלות נפוצות

מה הם Epoch Automation Reports?

Benchmark של משימות ריאליסטיות ופתוחות שנלקחו מהעבודה של Epoch AI עצמה. מודלים מייצרים תוצרי עבודה, ובני אדם מדרגים אותם מול הסטנדרטים הפנימיים של Epoch.

אילו מודלים Epoch בדקה?

GPT-6 Astra, Claude Fable 5.1, Grok 4.6, Gemini 3.8 Flash, Kimi K3 ו-Qwen 3.8 Max, כל אחד על ה-harness שלו.

מה Epoch הסיקה?

שמודלים עוד לא יכולים לייצר באופן אוטונומי עבודה באיכות-Epoch. מודלי חזית היו אמינים במשימות מוגדרות-היטב ונכשלו בהיבטים פתוחים שצריכים שיפוט.

כמה אמינים הציונים?

Epoch אומרת שהם רועשים וסובייקטיביים. היא הריצה כל מודל פעם אחת למשימה עם מדרג בודד, ונשענת על ממצאים איכותניים במקום.

זה אומר שסוכנים לא שימושיים בעבודה?

לא. Epoch מדווחת תוצאות חזקות בקידוד, ניתוח נתונים ושימוש-במחשב, ואומרת שהיא עכשיו מאוטמטת צעד עיצוב אחד ברובו.

מה התובנה המעשית?

לתת לסוכנים צעדים מוגדרים-היטב וניתנים לבדיקה, ולשמור אדם בנקודות שצריכות שיפוט על מה למדוד, מה תוצאה אומרת ומה מתאים לקהל.

אפשר לסמוך על זה לזרימת העבודה שלי?

התייחסו לזה כדפוס לבדיקה, לא פסק דין. הריצו משימות מדורגות משלכם לפני שמחליטים כמה להאציל.

מקורות

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS