איך להעריך פלטי LLM: Evals ו-LLM-as-Judge בפרקטיקה
אי אפשר לשלוח פיצ'ר LLM שאי אפשר למדוד. הנה איך אני בונה evals - מסט מתויג ועד מדרגי LLM-as-judge - כדי ששינויי פרומפט יפסיקו להיות תחושות ויתחילו להיות מספרים.
הנה מצב הכשל שהורג פיצ'רי LLM לפני שהם נשלחים: מישהו מכוון את הפרומפט, מעריך בעין שלושה פלטים, מכריז "יותר טוב", ודוחף. שבוע אחר כך זה גרוע יותר על המקרים שאף אחד לא הסתכל עליהם, ואין דרך לדעת מתי זה נשבר או למה. לפיצ'ר אין באג. אין לו לוח תוצאות.
Evals הם לוח התוצאות. Eval הוא מדידה חוזרת של האם מערכת ה-LLM שלך עושה מה שהיא אמורה לעשות, שרצה מול סט קבוע של מקרים, ומייצרת מספר שאפשר להשוות על פני שינויים. בלי אחד, כל עריכת פרומפט היא הטלת מטבע שאתה לא רואה נוחתת. עם אחד, "האם זה יותר טוב?" הופך לשאלה שעונים עליה בשלושים שניות במקום ויכוח בסלאק.
אני מתייחס ל-evals כתשתית לא-סחירה לכל דבר מונע-LLM שאני מתכוון לשמור. הנה איך אני באמת בונה אותם.
מתחילים עם מקרים, לא מדדים
האינסטינקט הוא להושיט יד קודם למדד מפואר. סדר שגוי. מתחילים באיסוף מקרים - קלטים אמיתיים שהמערכת שלך תפגוש, מזווגים עם איך נראה פלט טוב.
המקור הכי טוב הוא פרודקשן (או dogfooding עצמי). כל פעם שהמערכת עושה משהו לא נכון, זה מקרה: הקלט, בתוספת הערה על מה שהיה אמור לקרות. כל פעם שהיא עושה משהו מרשים בצדק, זה גם מקרה - אתה רוצה להגן על אלה, לא רק לתקן את הכשלים. עשרים עד חמישים מקרים טובים מספיקים להתחלה. אנשים נתקעים לנצח בניסיון להרכיב סט זהב של אלף מקרים; אתה לא צריך את זה כדי להתחיל. אתה צריך מספיק כדי לתפוס רגרסיות על הדברים שבאמת אכפת לך מהם.
קריטי, כלול את המקרים הקשים בכוונה. סט eval עשוי מקלטים קלים משיג 95% ולא אומר לך כלום - הוא לא יכול להבדיל בין מערכת טובה לבינונית כי שתיהן עוברות. טען אותו במקרי קצה, הקלטים הדו-משמעיים, אלה שנשברו בעבר. ה-eval אמור לכאוב קצת. סט שהכל עובר הוא סט שלא מודד כלום.
התאם את המדרג למשימה
עכשיו השאלה הופכת: בהינתן פלט, איך מחליטים אם הוא נכון? זה המדרג, והסוג הנכון תלוי לחלוטין במה שמודדים. יש שלוש משפחות רחבות, בסדר עולה של קושי.
דירוג מדויק / פרוגרמטי. אם למשימה יש תשובה ניתנת לבדיקה - תווית סיווג, מספר, JSON תקף שמתאים לסכמה, קטע קוד שמתקמפל ועובר בדיקות - דרג בקוד. זה תקן הזהב: מהיר, חינם, דטרמיניסטי, בלי שיקולי דעת. מתי שאפשר לנסח את קריטריון ההצלחה כאסרט (output.label == expected, json.loads(output) מצליח, בדיקות עוברות), עשה את זה. כמות ענקית של עבודת LLM יכולה להיות ניתנת לבדיקה אם מגבילים את פורמט הפלט, וזו סיבה אחת שפלטים מובנים כל כך שימושיים - הם הופכים "האם ענה טוב" ל"האם ייצר אובייקט תקף עם השדות הנכונים."
דירוג מבוסס-התייחסות. לפעמים יש תשובה ידועה-טובה אבל הפלט הוא טקסט חופשי שלא יתאים בייט-לבייט. כאן משווים מול התייחסות - האם הפלט מכיל את העובדות הנדרשות, האם הוא מתאים למשמעות של תשובת הזהב. זה מחליק לתוך המשפחה השלישית כי "להתאים למשמעות" בדרך כלל צריך מודל כדי לשפוט.
LLM-as-judge. לפלטים פתוחים - סיכום, הסבר, טון, קטע כתיבה - אין אסרט שלוכד "טוב". אז משתמשים בקריאת LLM שנייה כדי לדרג את הראשונה. השופט מקבל את הקלט, הפלט ורובריקה, ומחזיר ציון או פסק דין. זה מה שהופך הערכת עבודה סובייקטיבית לטרקטבילית בכלל, ושווה לעשות את זה טוב.
לגרום ל-LLM-as-judge להיות באמת אמין
ל-LLM-as-judge יש מוניטין של רועש, והוא מרוויח את המוניטין הזה כשאנשים עושים את זה בעצלות. כשעושים בזהירות, הוא אמין מספיק כדי לשער שחרורים. ההבדל הוא כמעט כולו ברובריקה.
כתבו קריטריונים מפורשים, ניתנים לדירוג - לא תחושות. "האם זה סיכום טוב?" מייצר רעש, כי השופט צריך להמציא את הסטנדרט שלו בכל פעם. "האם הסיכום (1) מזכיר את הסכום בדולרים, (2) מנקוב בצוות האחראי, (3) נשאר מתחת ל-80 מילים, (4) נמנע מספקולציה שלא במקור?" מייצר אות יציב, כי כל קריטריון ניתן לבדיקה עצמאית. הרובריקה עושה את העבודה. רובריקה מעורפלת היא הגורם לכמעט כל תלונה של "LLM-as-judge לא אמין" ששמעתי.
העדיפו שיפוטים בינאריים או בעלי ערך-נמוך. לבקש משופט לדרג איכות 1-10 מזמין אותו להתקבץ סביב 7 ולהתנדנד בין 6 ל-8 על קלטים זהים. לשאול "האם זה עומד בכל קריטריון: כן או לא?" הרבה יותר יציב. פרקו ציון איכות לכמה בדיקות כן/לא וצברו אותן בעצמכם, במקום לבקש מספר הוליסטי אחד.
דרגו קריטריונים באופן עצמאי. כשלרובריקה יש כמה קריטריונים, דרגו כל אחד בפני עצמו ודווחו תוצאות לכל-קריטריון. זה אומר לכם מה נכשל, לא רק שמשהו נכשל - ופערים לכל-קריטריון הם בדיוק מה שמזינים בחזרה לאיטרציית הפרומפט הבאה.
תאמתו את השופט מול בני אדם, לפחות פעם. לפני שסומכים על שופט שישער שחרורים, בדקו שהוא מסכים איתכם על דגימה. דרגו שלושים מקרים בעצמכם, תנו לשופט לדרג את אותם שלושים, והסתכלו איפה הם חולקים. אם הם סוטים חזק, הרובריקה שלכם תחת-מוגדרת - תקנו אותה לפני שמסתמכים עליה. השופט הוא מכשיר מדידה; כיילו אותו לפני שסומכים על הקריאות.
טריק מעשי כשעוד אין רובריקה: קחו פלט אחד שאתם רואים כמצוין, תנו למודל לנתח למה הוא טוב, והפכו את הניתוח לרובריקה. לעיתים קרובות יודעים טוב כשרואים אותו לפני שאפשר לנסח את הקריטריונים, וזה מחלץ אותם.
לולאת האיטרציה
ברגע שיש מקרים ומדרג, זרימת העבודה שמחליפה "העריך בעין שלושה פלטים והתפלל" נראית ככה:
1. הריצו את כל סט ה-eval, תעדו את ציון הבסיס. זה המספר ההתחלתי שלכם. לכל-קריטריון, לא רק צבירה - הצבירה מסתירה איזה ממד חלש.
2. עשו שינוי אחד. עריכת פרומפט, החלפת מודל, כיוון כלי. אחד בכל פעם, כדי שאפשר לייחס את האפקט.
3. הריצו מחדש, השוו. האם המספר עלה? על אילו קריטריונים? האם משהו נסוג? כאן evals מרוויחים את קיומם - רואים את ה*טריידאופים*, לא רק את הכותרת.
4. בדקו את המקרים שזזו. הציון אומר מה השתנה; קריאת הפלטים הספציפיים שהתהפכו אומרת למה. לעיתים קרובות "זכייה" בממוצע מסתירה כשל חדש על מקרה שאכפת לכם ממנו.
זה ההבדל בין הנדסה לאמונה טפלה. בלי הלולאה, אתם מכווננים פרומפט על בסיס הפלט האחרון שבמקרה הסתכלתם עליו. איתה, אתם ממטבים מול סט מייצג וצופים בכל ההתפלגות זזה.
כמה פלטפורמות מפורמלות את זה ללולאת דרג-ותקן שהמערכת מריצה בעצמה: הצהירו על קריטריוני ההצלחה כרובריקה, והרתמה מבצעת איטרציה - הפק, דרג מול הרובריקה, תקן - עד שזה עובר או מגיע לתקרה. זו אותה לולאה, אוטומטית, והיא עובדת רק כמו הרובריקה שכותבים. קריטריונים מעורפלים, לולאה רועשת. קריטריונים חדים, המערכת מתכנסת.
מה אני מעריך מעבר ל"האם התשובה נכונה"
לפיצ'רים פשוטים, איכות הפלט היא כל המשחק. לסוכנים, לא - יש מסלול, לא רק תשובה סופית, וכמה דברים שווים מדידה:
- הצלחת משימה. האם השיג את המטרה? לעיתים קרובות הדבר היחיד שמשנה בסופו של דבר, אבל הכי קשה לדירוג אוטומטי - לעיתים קרובות LLM-as-judge מול רובריקה, או בדיקה פרוגרמטית על המצב הסופי.
- נכונות שימוש בכלים. האם קרא לכלים הנכונים עם ארגומנטים שפויים, או התחבט? אפשר לדרג את זה מהטрейס.
- עלות ויעילות. כמה טוקנים וצעדים זה לקח? ריצה שמצליחה ב-40 צעדים כש-8 היו מספיקים היא רגרסיה גם אם התשובה נכונה. עקבו אחרי זה - זה מספר, אז זה חינם למדוד.
- נאמנות. לכל דבר מבוסס-שליפה, האם הפלט נצמד למקורות או המציא דברים? זו בדיקת LLM-as-judge נפרדת ושווה לבודד אותה.
הטעות היא לקרוס את כל אלה לתוך פסק דין "טוב/רע" אחד. שמרו אותם מופרדים. סוכן יכול להיות יותר מדויק ויותר יקר באותו זמן, וציון יחיד מסתיר את זה.
גרסת המשפט האחד
Eval הוא מדידה חוזרת מול סט קבוע של מקרים קשים, מדורג פרוגרמטית איפה שאפשר ועל ידי שופט LLM מרוברק בזהירות איפה שלא - וזה הדבר שהופך "אני חושב שהפרומפט הזה יותר טוב" למספר שאפשר באמת להגן עליו.
מקורות
ההתייחסויות האלה תומכות במושגים הטכניים שנדונים כאן. הן לא מאמתות באופן עצמאי את הניסויים האישיים, העלויות או נתוני הביצועים המדווחים במאמר הזה. התנהגות מוצר יכולה להשתנות אחרי פרסום.
- Evaluation best practices: עיצוב הערכה ומגבלות.
שאלות נפוצות
מהו LLM eval?
LLM eval הוא מדידה חוזרת של האם מערכת LLM עושה מה שהיא אמורה לעשות, שרצה מול סט קבוע של מקרי בדיקה ומייצרת ציון ניתן להשוואה. הוא מחליף הערכת-עין של כמה פלטים עם לוח תוצאות שאפשר לעקוב אחריו על פני שינויי פרומפט ומודל.
כמה מקרי בדיקה צריך כדי להתחיל להעריך LLM?
הרבה פחות ממה שאנשים חושבים - עשרים עד חמישים מקרים טובים מספיקים כדי להתחיל לתפוס רגרסיות. אל תחכו להרכיב סט זהב של אלף מקרים. המפתח הוא שהמקרים כוללים את הקלטים הקשים, הדו-משמעיים ואלה שנשברו בעבר, לא רק קלים.
מהו LLM-as-judge?
LLM-as-judge משתמש בקריאת LLM שנייה כדי לדרג את הפלט של הראשונה מול רובריקה. ככה מעריכים פלטים פתוחים - סיכומים, הסברים, טון, כתיבה - איפה שאין אסרט פרוגרמטי שלוכד "טוב". האמינות שלו תלויה כמעט לחלוטין באיכות הרובריקה.
איך גורמים ל-LLM-as-judge להיות אמין?
כתבו קריטריונים מפורשים, ניתנים לדירוג-עצמאי במקום לשאול "האם זה טוב"; העדיפו שיפוטי כן/לא בינאריים על סולמות 1-10; דרגו כל קריטריון בנפרד; ותאמתו את השופט מול דירוג אנושי שלכם על דגימה לפני שסומכים עליו לשער שחרורים.
מתי להשתמש בדירוג פרוגרמטי במקום שופט LLM?
מתי שלמשימה יש תשובה ניתנת לבדיקה - תווית סיווג, מספר, JSON תקף-סכמה, או קוד שעובר בדיקות. דירוג פרוגרמטי מהיר, חינם ודטרמיניסטי. הגבלת פורמט הפלט (למשל, עם פלטים מובנים) נותנת להפוך הרבה יותר משימות לניתנות לבדיקה פרוגרמטית.
מה למדוד כשמעריכים סוכן LLM?
יותר מאיכות תשובה-סופית: הצלחת משימה, נכונות שימוש-בכלים, עלות ויעילות (טוקנים וצעדים), ונאמנות למקורות לעבודה מבוססת-שליפה. שמרו אלה מופרדים במקום לקרוס לפסק דין אחד - סוכן יכול להיות יותר מדויק ויותר יקר בו-זמנית.
איך evals משתלבים באיטרציה על פרומפט?
הריצו את הסט המלא לציון בסיס, עשו שינוי אחד, הריצו מחדש והשוו לכל-קריטריון, ואז קראו את המקרים הספציפיים שזזו כדי להבין למה. הלולאה הזו הופכת כיוון פרומפט מניחוש על בסיס הפלט האחרון שראיתם לאופטימיזציה מול סט מייצג.
קריאה נוספת
- Self-hosted Claude Managed Agents: שירות הסוכנים של Anthropic רץ עכשיו על התשתית שלך
Anthropic פתחה את self-hosted Claude Managed Agents בבטא פרטית: אתה מארח את שירות הסוכנים, את מסד הנתונים ואת ארגזי החול, וקריאות המודל הולכות ל-Claude API או לספק שאתה בוחר. מה רץ איפה, אילו הרשאות קיימות, מה עדיין יוצא מהרשת שלך, ומה כדאי לבדוק לפני שמתחייבים.
- המדריך של Anthropic לסוכני always-on: חמישה פרימיטיבים מאחורי סוכנים שלא יושבים בחינם
Anthropic פרסמה מדריך לבניית סוכני always-on: סוכנים שומרי-מצב ופרואקטיביים שמנהלים קונטקסט בין סשנים. הרעיון המרכזי הוא שהסוכן לא באמת רץ כל הזמן - הוא ישן בין ריצות, וחמישה פרימיטיבים ארכיטקטוניים מחליטים מתי הוא מתעורר, מה הוא זוכר, ומה מגיע אליך.
- Grok Bot 1.0 ועדכון ה-11 בנובמבר: העמיתים של xAI מקבלים פגישות, Teams ושכבת ניהול
xAI השיקה את Grok Bot 1.0 ב-2 בנובמבר עם Team Bots לשיתוף, איסוף עבודה יזום ושימוש מהיר יותר בדפדפן, ואז שיגרה ב-11 בנובמבר עדכון שמוסיף פגישות Google Meet, Zoom ו-Microsoft Teams, קונקטורים משותפים ותור אישורים Review learnings. מה שוגר, איך מודל ההרשאות עובד, ומה לבדוק לפני שמפיצים לצוות.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS