דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-11-02·9 דק׳

Prefix Executability: מאמר של Oracle על למה סוכן יכול להצליח ובכל זאת להישבר בדרך

מאמר של Oracle AI שהתקבל ל-NeurIPS 2026 נותן ציון לסוכנים משתמשי-כלים לפי כמה זמן כל מסלול קריאות-כלים נשאר בר-הרצה, לא רק לפי הצלחה סופית. קראתי את המאמר המלא ומסכם את המדדים, התוצאות והמגבלות שהמחברים מצהירים.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

סוכן משתמש-כלים יכול להגיע למצב הסופי הנכון ובכל זאת לעשות קריאות לא תקינות בדרך, ואז לתקן אותן. מאמר שפורסם ב-arXiv ב-29 באוקטובר 2026 (2610.40444, "Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success", מ-Oracle AI, עם הערה שאומרת שהוא התקבל ל-NeurIPS 2026) שם מספרים על הפער הזה. בקונפיגורציה אחת הוא מדווח על שיעור הצלחה סופית של 0.74 בעוד רק 5% מהפרקים היו ברי-הרצה במלואם. המאמר הזה הוא קריאה של המאמר, לא בדיקה שלו.

קראתי את גרסת ה-HTML המלאה של המאמר, כולל חלקי השיטה, התוצאות והמגבלות. לא קראתי את הנספחים בפירוט ולא הרצתי שום דבר מחדש. כל המספרים למטה הם של המחברים עצמם, מה-benchmarks והמודלים שלהם.

הרעיון

המאמר מגדיר פעולה כברת-הרצה אם הכלי הנבחר זמין, הארגומנטים מתאימים לסכמה שלו, תנאים מוקדמים מפורשים מתקיימים במצב הנוכחי, וכל ערכי הביניים המוזכרים קיימים ובעלי הטיפוס הנכון. prefix של רצף קריאות-כלים הוא בר-הרצה אם כל פעולה בו מצליחה תחת המצבים שהפעולות הקודמות הפיקו. זה בודק ישימות במקום הסכמה עם נתיב ייחוס אחד, אז הוא יכול לתת קרדיט לרצפים תקינים חלופיים. הנותן ציון הוא דטרמיניסטי ולא משתמש בשופט LLM.

המדדים

  • First-Error Depth (FED): הצעד הראשון שבו ה-prefix מפסיק להיות בר-הרצה. מסלול בר-הרצה במלואו של T קריאות יש לו FED שווה ל-T פלוס אחד.
  • Prefix Executability Curve (PEC): חלק כל ה-rollouts שהתחילו שמגיעים לעומק k עם prefix בר-הרצה. המאמר מציין שזו עקומת הישרדות של קבוצה קבועה, אז היא יורדת כש-rollout נכשל או כשהוא פשוט מסתיים לפני עומק k.
  • Trajectory Executability Rate (TER): חלק ה-rollouts שהמסלול המלא שלהם בר-הרצה.
  • AUC-PEC: שטח מנורמל-אופק, שווה לממוצע של (FED מינוס 1) מחולק ב-T. הוא מתגמל כשלים ראשונים מאוחרים יותר.
  • Recovery Rate (RR): חלק ה-rollouts עם לפחות prefix לא תקין אחד שעדיין מגיעים להצלחה סופית.

המחברים גם מתייגים את הפעולה הלא-תקינה הראשונה עם סיבה ראשית אחת: סכמה, תלות, תנאי-מוקדם, עקביות-מצב או כשל מידע. התוויות האלה הן אבחנתיות בלבד ולא משמשות במדדים.

מה הם בדקו

  • Benchmarks: BFCL v3 multi-turn (200 משימות מדגמנות, 50 מכל אחת מארבע קטגוריות), ToolSandbox (200 משימות, מוגבל לתרחישי כלי-מקומיים נתמכים), וכל הפיצולים הבסיסיים של Airline (50) ו-Retail (114) של tau-cubed-bench.
  • מודלים: GPT-5.4 במאמץ reasoning גבוה, GPT-4.1 ו-Llama-4-Maverick-Instruct.
  • וריאנטי סוכנים: ReAct, Prompt Planning, Plan-Conditioned ReAct, ו-Dual-Loop, שמוסיף verifier שבודק תוכנית מול סכמות כלים, תנאים מוקדמים וקשרי משתנים לפני הרצה.
  • סך הכל: 6,768 rollouts על 564 משימות לכל תנאי מודל ושיטה. הרווחים הם רווחי bootstrap ברמת המשימה של 95%.

המחברים אומרים ש-Dual-Loop הוא בדיקה מבוקרת, לא טענת הארכיטקטורה העיקרית שלהם.

מה הם מצאו

דירוגים מתפצלים. Plan-Conditioned ReAct, שבו התוכנית מוזנת למבצע בלי אימות, מראה לעתים קרובות הצלחה סופית גבוהה יותר מ-baselines בלי-תוכנית תוך הורדה משמעותית של TER ו-AUC-PEC.

דוגמה עבודה מהמאמר. על BFCL v3 עם Llama-4 Maverick ו-Plan-Conditioned ReAct, 10 מתוך 200 פרקים היו ברי-הרצה במלואם וכל ה-10 הצליחו. עוד 138 מתוך 190 הפרקים עם כשל prefix גם הצליחו. אז TER הוא 0.05, RR הוא בערך 0.726 והצלחה סופית היא 0.74. מתוך 148 ההצלחות, 138 (93.2%) באו אחרי prefix לא תקין קודם.

הישרדות מוקדמת. PEC של BFCL בעומק 4 ל-Plan-Conditioned ReAct הוא 0.42, 0.33 ו-0.05 על פני שלושת המודלים, מול 0.82, 0.82 ו-0.78 ל-Dual-Loop.

ולידציה עוזרת בשני benchmarks. ולידציה לפני-הרצה משפרת בעקביות TER, AUC-PEC ו-PEC מוקדם על פני שלושת המודלים על BFCL v3 ו-ToolSandbox. Dual-Loop גם נכנס למשטר הזכאי-להתאוששות הרבה פחות פעמים (למשל 12, 7 ו-25 פרקים על BFCL, מול 106, 130 ו-190 ל-Plan-Conditioned ReAct). המאמר מזהיר שה-RR הנצפה של Dual-Loop על BFCL הוא אפס ושהקבוצות הזכאיות הקטנות הופכות את ההערכות האלה ללא מדויקות.

זה לא מועבר נקי ל-tau-cubed-bench. עם GPT-5.4, Plan-Conditioned ReAct יש לו ההצלחה הסופית הגבוהה ביותר (0.51) בעוד ReAct רגיל יש לו TER ו-AUC-PEC הגבוהים ביותר (0.95 ו-0.95). עם GPT-4.1, Prompt Planning מוביל הצלחה סופית (0.51) ו-ReAct מוביל TER ו-AUC-PEC (0.84 ו-0.91). המחברים מציעים הסבר אפשרי, שמשוב משתמש אינטראקטיבי יכול לגרום לתוכניות מראש להיות מיושנות, ומתייגים את זה כ-"a testable interpretation, not an identified causal mechanism".

עלות. בביקורת tau-cubed, Dual-Loop משנה טוקנים ממוצעים ו-latency מצטבר של קריאות סוכן יחסית ל-Plan-Conditioned ReAct בכ-3% פלוס ו-22% פלוס ל-GPT-5.4, 12% פלוס ו-7% פלוס ל-GPT-4.1, ו-3% מינוס ו-1% מינוס ל-Llama-4. במחקר רגישות נפרד, כל הרווחים הזוגיים של 95% לשינויי TER ו-AUC-PEC כוללים אפס. verifier של GPT-5.4 עם תקציב ולידציה של 5 שינה TER ב-0.006 פלוס (רווח 0.018 מינוס עד 0.030) תוך הוספת 40.7k טוקנים ו-176.9 שניות.

מגבלות שהמחברים מצהירים

  • זו ביקורת, לא leaderboard מלא. BFCL ו-ToolSandbox הם דגימות של 200 משימות, וכיסוי tau-cubed הוא רק הפיצולים הבסיסיים של Airline ו-Retail.
  • רווחים מתארים וריאציה בין משימות, לא ריצות חוזרות בתוך משימה.
  • בירת-הרצה צריכה סכמות מפורשות, תנאים מוקדמים ומצב נגיש. סביבות web או GUI עם תצפית חלקית עשויות לצרוך הערכת מצב או תנאים מוקדמים נלמדים.
  • בירת-הרצה לא מסמיכה נכונות סמנטית, בטיחות, פרטיות או הוגנות.
  • הם לא העריכו baseline של schema-constrained-decoding תואם, אז הדירוגים לא מבוססים תחת האילוץ הזה.
  • ההתערבות משלבת ולידציה עם הסקה נוספת, ומחקר הרגישות לא מפריד לחלוטין בין השניים.
  • נתוני עלות של BFCL ו-ToolSandbox הם זמן ריצה מצטבר בלבד.

מה הייתי בודק

אלה הצעות שלא בדקתי.

1. רשמו בלוג, למסלולי הסוכן שלכם, את הקריאה הראשונה שנכשלת בבדיקת סכמה או תנאי-מוקדם, ודווחו את העומק הזה לצד הצלחת המשימה.

2. ספרו כמה מההצלחות שלכם באו אחרי קריאה לא תקינה, באמצעות אריתמטיקת ההתאוששות של המאמר.

3. אם לקריאה לא תקינה יש עלות אמיתית במערכת שלכם, כמו תשלום או כתיבה, שקלו עומק שגיאה ראשונה מעל הצלחה סופית.

4. נסו צעד verifier רק איפה שתוכניות נשארות תקפות. תוצאת tau-cubed מרמזת שזה אולי לא עוזר כשמשוב משתמש משנה את המצב.

5. הוסיפו baseline של schema-constrained decoding לפני שאתם נותנים קרדיט ל-verifier, מכיוון שהמאמר לא הריץ אחד.

מה לא הייתי מסיק

  • שסוכנים מותנים-תוכנית גרועים יותר. ההצלחה הסופית שלהם הייתה גבוהה יותר בכמה קונפיגורציות, והמאמר אומר שזו לא סתירה.
  • שווריפיקציה היא ניצחון חינם. המחברים מדווחים על עליות עלות ורווחים שכוללים אפס במחקר הרגישות שלהם.
  • ש-prefix executability מודד נכונות. המאמר אומר שהוא לא.
  • שהמספרים מכלילים מעבר ל-benchmarks, המודלים והדגימות האלה.

שאלות נפוצות

מה זה prefix executability?

בדיקה ברמת המסלול של האם כל prefix של רצף קריאות-הכלים של סוכן נשאר בר-הרצה תחת סכמות כלים, תנאים מוקדמים ותלויות נתונים.

מה זה First-Error Depth?

מספר הצעד של הפעולה הלא-תקינה הראשונה ב-rollout, או אורך המסלול פלוס אחד אם אף אחת לא לא תקינה.

איך הצלחה יכולה להיות גבוהה בזמן שבירת-הרצה נמוכה?

כי סוכן יכול לתקן קריאה לא תקינה מאוחר יותר. הדוגמה של המאמר יש בה הצלחה סופית של 0.74 עם TER של 0.05.

אילו benchmarks ומודלים שימשו?

BFCL v3 multi-turn, ToolSandbox והפיצולים Airline ו-Retail של tau-cubed-bench, עם GPT-5.4, GPT-4.1 ו-Llama-4-Maverick.

האם ולידציה לפני-הרצה עוזרת?

היא שיפרה TER, AUC-PEC ו-PEC מוקדם על BFCL v3 ו-ToolSandbox. על tau-cubed-bench התועלת לא הייתה עקבית, לפי המחברים.

האם המדד צריך שופט LLM?

לא. הנותן ציון בצד ה-benchmark הוא דטרמיניסטי. ה-verifier ב-Dual-Loop הוא נפרד ומבוסס-LLM.

שחזרת את התוצאות?

לא. קראתי את המאמר.

מקורות

כולם נקראו ב-2 בנובמבר 2026.

לא נקרא: הנספחים בפירוט, טבלאות התוצאות המלאות, מאמרי ה-benchmark המצוטטים, וכל שחרור קוד.

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS