המספרים של OpenAI להגירת COBOL: מ-5.4% ל-86.6%. מה ה-evals מודדים, ומה הם לא
OpenAI פרסמה תוצאות לקידוד ב-COBOL, Fortran, OCaml ו-Visual Basic, עם benchmark של SQLite מאפס ו-eval של הגירת COBOL. מה הפוסט מצהיר, ההסתייגויות שלו עצמו, ואיך לקרוא evals של ספקים לפני מודרניזציה של קוד legacy.
OpenAI אומרת שמודל עדכני עלה מ-5.4% ל-86.6% דיוק בהערכת הגירת ה-COBOL שלה, בעלות נמוכה יותר. זה קפיצה גדולה. זה גם ה-eval של OpenAI עצמה, מורץ על המודלים של OpenAI עצמה.
המאמר הזה קורא את הפוסט של OpenAI מ-19 באוקטובר, Advancing Coding in Low-Resource Programming Languages. כל המספרים הם של OpenAI. לא הרצתי אף אחת מההערכות.
מה OpenAI אומרת שהיא בנתה
הפוסט אומר של-COBOL, Fortran ו-Visual Basic יש פחות קוד ותיעוד למודלים ללמוד מהם מאשר ל-Python או JavaScript, ועדיין הן תומכות במערכות קריטיות. הוא מצטט COBOL כתומכת ביותר מ-40% ממערכות הבנקאות המקוונת, 80% מעסקאות כרטיסי אשראי פרונטליות ו-95% מעסקאות כספומטים, ו-Fortran כמשמשת בחיזוי מזג אוויר וניתוח בטיחות רשומות גרעיניות. אלה נתונים מצוטטים של OpenAI, מקושרים למקורות חיצוניים בפוסט, שלא בדקתי.
היא מתארת שתי הערכות:
- MultiLangBench: האם מודל יכול לבנות מנוע בסיס נתונים תואם-SQLite מאפס באחת מ-20 שפות?
- הגירת COBOL: האם מודל יכול להגיר תוכניות COBOL קיימות ל-C++, Java, Kotlin, Python או Rust תוך שמירת התנהגות?
תוצאות MultiLangBench
איך זה עובד, לפי הפוסט: התוכנית המועמדת מקבלת קובץ בסיס נתונים התחלתי ושאילתת SQL ומייצרת בסיס נתונים מעודכן. OpenAI משתמשת במימוש ה-SQLite הייחוסי לבדוק את התוכן, מה שמאפשר לאותן הבדיקות לחול על כל שפה. הבדיקות מותאמות מסט הבדיקות הקיים של SQLite. היא מדווחת שיעור מעבר בדיקות ועלות API.
במאמץ reasoning מקסימלי:
- GPT-6 Astra: 87.4% שיעור מעבר ממוצע על פני 20 שפות, עלייה מ-26.8% ל-GPT-5.6 Sol. OpenAI אומרת שכל שפה השתפרה.
- לפי שפה, מ-Sol ל-Astra: COBOL מ-10.9% ל-72.1%, OCaml מ-25.6% ל-85.8%, Fortran מ-21.4% ל-83.5%, Visual Basic מ-27.5% ל-89.4%. Astra מקבל מעל 83% ב-19 מתוך 20 השפות, ו-COBOL נשארת הקשה ביותר ב-72%.
- GPT-6 Luna, האפשרות החסכונית: 40.3% ממוצע, עם כ-$0.77 למדגם מול $3.48 ל-Sol, בערך 78% פחות.
OpenAI אומרת שהיא משחררת את מערך ההערכה, סט הבדיקות והתוצאות לפי שפה ב-GitHub. לא הסתכלתי בריפוזיטורי, אז אני לא יכול להגיד איך הגרסה המשוחררת משתווה לפוסט.
תוצאות הגירת COBOL
המשימה: להגיר תוכניות לאחת מחמש שפות יעד עם בדיקות נסתרות שצריכות שוויון בייט-לבייט על פלטים נצפים. הגירה נספרת כמוצלחת רק אם כל הבדיקות עוברות.
דוגמת הפוסט למה זה קשה: אריתמטיקת הנקודה הקבועה של COBOL משליכה ספרות עשרוניות עודפות אלא אם כן מבוקש עיגול. כתיבה מחדש שמעגלת יכולה לרוץ בלי שגיאות ועדיין לתת תוצאות פיננסיות שונות.
תוצאות: GPT-6.1 Sol מגיע ל-86.6% דיוק במאמץ reasoning נמוך, בהשוואה ל-5.4% ל-GPT-5.6 Sol באותה הגדרה, ב-61% מעלות ה-API (ההקדמה של הפוסט אומרת 39% פחות, אותו מספר). במאמץ reasoning גבוה יותר, הדיוק מגיע ל-97.9%, מה ש-OpenAI אומרת שהוא קרוב לרוויית ההערכה.
מה הפוסט עצמו מזהיר
OpenAI מצהירה שיישום זה על תוכנה בפרודקשן "עדיין דורש סקירה מומחית ובדיקה מול כללי העסק והתלויות של המערכת". היא גם אומרת שההערכות שלה עוזרות לה לראות איפה מודלים "עדיין נכשלים". הפוסט לא מתאר איך תוכניות ההגירה נראות, כמה יש, או איך נבחרו, בטקסט שקראתי.
מה הייתי בודק לפני שסומכים על זה
אלה הצעות שלי שלא נבדקו.
1. גודל וצורת סט הבדיקה. eval קרוב-לרוויה עם סט קטן של תוכניות יכול להסתיר כשלונות על מערכות אמיתיות עם עשרות שנים של תיקונים.
2. שוויון הוא רק למה שבדיקות מבחינות בו. שוויון בייט-לבייט על בדיקות נסתרות הוא חזק, אבל הוא מכסה את מה שהבדיקות מכסות. עיגול, טיפול ברשומות ופורמטי קבצים מחוץ לבדיקות לא מכוסים.
3. מיסגור עלות. העלויות הן למדגם על המשימות של OpenAI. הגירה אמיתית כוללת קריאה, סקירה ובניית בדיקות סביב המודל.
4. המדגם שלכם. בחרו כמה מהתוכניות שלכם, עם אריתמטיקה ידועה-כמסובכת, והריצו אותן לפני תכנון פרויקט.
5. מאמץ reasoning. ה-86.6% הוא במאמץ נמוך ו-97.9% במאמץ גבוה יותר. הפוסט לא נותן את עלות ההגדרה הגבוהה יותר בטקסט שקראתי.
מה לא הייתי מסיק
- שהגירת COBOL נפתרה. OpenAI אומרת שה-eval קרוב לרוויה, לא שהגירת פרודקשן היא.
- שהמודל החסכוני מספיק טוב. Luna מקבל 40.3% ב-MultiLangBench, הרבה מתחת ל-Astra.
- שתוצאות מ-benchmarks של מעבדה אחת משתוות על פני ספקים. הפוסט משווה רק מודלים של OpenAI עצמה.
שאלות נפוצות
מהו MultiLangBench?
הערכה של OpenAI שבה מודלים בונים מנוע בסיס נתונים תואם-SQLite מאפס ב-20 שפות, מול ה-SQLite הייחוסי.
מה הייתה תוצאת הכותרת ב-COBOL?
GPT-6.1 Sol ב-86.6% דיוק על eval הגירת ה-COBOL במאמץ reasoning נמוך, מול 5.4% ל-GPT-5.6 Sol.
איך הגירה נספרת כמוצלחת?
כל הבדיקות הנסתרות חייבות לעבור, עם שוויון בייט-לבייט על פלטים נצפים.
אילו שפות יעד זה בודק?
C++, Java, Kotlin, Python ו-Rust.
אפשר להריץ את MultiLangBench בעצמי?
OpenAI אומרת שהיא משחררת את המערך וסט הבדיקות ב-GitHub. לא בדקתי את הריפוזיטורי.
האם זה אומר שאני יכול להגיר את מערכת ה-COBOL שלי עם AI עכשיו?
OpenAI אומרת ששימוש בפרודקשן עדיין צריך סקירה מומחית ובדיקה מול כללי עסק.
למה אריתמטיקת COBOL משנה?
לפי הפוסט, אריתמטיקת נקודה קבועה מקטעת אלא אם כן מבוקש עיגול, אז כתיבה מחדש שמעגלת יכולה בשקט לשנות תוצאות פיננסיות.
מקורות
- OpenAI, Advancing Coding in Low-Resource Programming Languages (19 באוקטובר 2026): כל הטענות והמספרים למעלה.
קריאה נוספת
- ממצאי זיכרון הסוכנים של Anthropic: פתק שגוי אחד יכול ללולא את הסוכן שלכם, ו-'חלימה' מתקנת את זה
Anthropic פרסמה איך היא בונה זיכרון לסוכני Claude: היררכיית ארבע שכבות, מעברי 'חלימה' לא מקוונים שמתקנים פתקים מול התמלילים, והערכות שמראות שפתק שגוי אחד לכד סוכן בלולאה. הכללים המעשיים לכל מי שבונה זיכרון לסוכנים.
- OpenAI Images 2.6 ב-API: Flare מול Sunburst, בקרת complexity, ופלט GIF
OpenAI שחררה GPT Image 2.6 עם שני מודלי API, Flare ו-Sunburst, ועוד פרמטר complexity חדש, עריכות מונחות-markup, ייצוא SVG ופלט GIF מונפש. מה התיעוד באמת אומר, מה עמוד התמחור מפרט, ומה עדיין טענת ספק.
- OpenAI Python SDK 3.42: סוכני הבטא מקבלים הגדרות Compaction, סקירה אוטומטית ו-Time Awareness, כפי שנקרא מהטיפוסים
OpenAI Python SDK v3.42.0 הוסיף הגדרות לסוכני בטא ולסשנים עבור compaction ברקע או חוסם, סקירת פעולות אוטומטית ו-time awareness ניסיוני. קראתי את ערות הגרסה, הודעות ה-commit והגדרות הטיפוסים המיוצרות כדי לפרט מה כל הגדרה אומרת.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS