איך להפוך סוכני AI למוכנים לפרודקשן (מה שהמדריכים לא אומרים לכם)
רוב סוכני ה-AI שנראים מרשימים בדמו קורסים בפרודקשן. הנה מה שבאמת עושה את ההבדל - מחלונות הקשר ועד מצבי כשל - על בסיס פריסות אמיתיות.
רוב סוכני ה-AI נכשלים בפרודקשן תוך השבועיים הראשונים. לא כי המודל טעה. לא כי הפרומפט היה גרוע. כי אף אחד לא חשב על מה קורה כשמשתמשים אמיתיים מתערבים עם נתונים אמיתיים תחת עומס אמיתי - והסוכן פוגש מצב שלא תוכנן עבורו.
שילחתי ארבעה סוכנים לסביבות פרודקשן בשמונה-עשר החודשים האחרונים. אחד מהם - מערכת תזמור מבוססת-WhatsApp שרצה על Cloud Run - מטפל במאות הודעות ביום בלי שבן אדם נוגע בו. אחר, ctxauditor, מנטר שימוש בחלון הקשר בצינורות סוכנים חיים ומתריע לפני שבזבוז טוקנים הופך לבעיית עלות. שלישי, LLM Cost Lens, עוקב אחרי הוצאת API בזמן אמת על פני מספר ספקי מודלים. הרביעי, AI Mafia, הוא משחק רב-סוכני שמתאם בין שישה פרסונות סוכנים נבדלים בו זמנית.
אף אחד מהם לא נראה מרשים בדמו. כולם עובדים בפרודקשן. הנה ההבדל.
הפער בין דמו לפרודקשן הוא בעיית מערכות
סוכן דמו רץ על הלפטופ שלכם, בטרמינל נקי, עם השאילתות שלכם. פרודקשן הוא ההפך מזה. פרודקשן אומר:
- משתמשים שמנסחים דברים בדרכים שמעולם לא ציפיתם להן
- מגבלות קצב API שמגיעות ב-3 לפנות בוקר
- חלונות הקשר שמתמלאים באמצע שיחה וחותכים הוראות קריטיות בשקט
- timeouts של רשת שקורים פעם בכל 200 בקשות - שבסקייל זה אומר כל הזמן
- זיכרון שאו גדל בלי גבול או שוכח דברים שהוא לא אמור
טעיתי בזה במשך שבוע כשפרסתי לראשונה את בוט ה-WhatsApp על Cloud Run. חשבתי ש"זה עבד בבדיקה" אומר "זה מוכן". זה לא היה. הכשל הראשון בפרודקשן היה overflow של הקשר - ה-system prompt בתוספת היסטוריית השיחה הגיעו לתקרת ה-200 אלף טוקנים של מודל מסוים, והסוכן התחיל להתעלם מהגדרות הכלים שלו. כשל שקט. בלי שגיאה. פשוט התנהגות שגויה.
זה הדבר לגבי כשלי AI בפרודקשן: הם לא תמיד זורקים חריגות. הם פשוט מייצרים תוצרים שגויים בשקט.
בעיה 1: ניהול חלון הקשר
לכל סוכן יש גבול הקשר. רוב המדריכים מתייחסים לזה כמקרה קצה. זה לא - זה האילוץ המרכזי שסביבו כדאי לעצב את כל המערכת.
עם ctxauditor, בניתי middleware קל שרושם ספירות טוקנים בכל צעד הסקה. הנתונים היו מדאיגים מיד: בשיחה ארוכה טיפוסית, בהודעה 15-20, היינו באופן שגרתי ב-60-70% מתקציב ההקשר לפני שהמשתמש בכלל שאל את השאלה המורכבת שהוא בנה אליה.
התיקון הוא לא פשוט "תשתמש במודל גדול יותר". מודלים גדולים עולים יותר, יש להם חביון גבוה יותר, וגם תגיעו לגבולות שלהם. התיקון האמיתי הוא משמעת הקשר:
1. סכמו, אל תצברו. אחרי כל N סיבובים (אני משתמש ב-8), דחסו היסטוריית שיחה ישנה לסיכום צפוף והזריקו אותו במקום ההודעות הגולמיות. הסוכן מאבד קצת פירוט מילולי אבל שומר על החוט הסמנטי.
2. הפרידו מצב מערכת מהשיחה. ההוראות, הגדרות הכלים והאילוצים שלכם צריכים לחיות מחוץ לבאפר השיחה המתגלגל. הם צריכים להיות מוזרקים בזמן ההסקה מקובץ או חנות - לא אפויים לתוך היסטוריית ההודעות שבה הם מתיישנים ומתחרים על מקום.
3. תקצבו לפי משימה, לא לפי שיחה. משימה שדורשת שלוש קריאות כלים ותשובה סופית אחת צריכה אולי 4,000 טוקנים. משימה שדורשת מחקר איטרטיבי צריכה 40,000. אם אתם יודעים את סוג המשימה מראש, הקצו את התקציב לפני שמתחילים. זה מה ש-LLM Cost Lens מציג בצורת דשבורד - התפלגות עלות הטוקנים בפועל לפי סוג משימה.
בעיה 2: מצבי כשל הם לא אותו דבר כמו שגיאות
לקח לי זמן מביך להפנים את זה. שגיאה אומרת שהקוד קרס. מצב כשל אומר שהסוכן עשה משהו - פשוט לא הדבר הנכון.
במערכת הרב-סוכנית AI Mafia, יש לי שישה סוכנים עם פרסונות נבדלות שחייבים לתאם בלי לשבור אופי. מצבי הכשל שראיתי בשבוע הפרודקשן הראשון לא היו קשורים בכלל לשגיאות קוד:
- סוכן A ענה לשאלות שהיו מיועדות לסוכן B, כי לשני הסוכנים הייתה גישת כלים חופפת
- סוכן C "הסכים" עם הוראות סותרות משתי הודעות תזמור שונות, וייצר התנהגות לא קוהרנטית
- המתזמר הוציא משימה, קיבל תוצאה שהושלמה חלקית, ו - במקום לסמן אותה כלא-שלמה - התייחס אליה כאל עשויה ועבר לצעד הבא
אף אחד מאלה לא זרק חריגות. כולם דרשו ממני לבנות שכבות ולידציה מפורשות: בדיקות סכמה על תוצרי כלים, פרומפטים של אימות-השלמה לפני שהמתזמר מקדם מצב, ומנגנוני נעילת-זהות שמונעים מסוכנים להגיב לשאילתות מחוץ להיקף המיועד שלהם.
העיקרון הוא: הניחו שהסוכן שלכם יעשה משהו. בנו למקרה שהמשהו הזה סביר אבל שגוי.
בעיה 3: לוגיקת Retry היא לא מספיקה
כל מערכת פרודקשן צריכה retries. אבל retries נאיביים הופכים מצבי כשל של LLM לגרועים יותר, לא טובים יותר.
הנה למה. אם סוכן נכשל כי הוא הבין לא נכון את המשימה, ניסיון חוזר של אותו פרומפט עם אותם קלטים מייצר את אותה אי-הבנה. פשוט בזבזתם שלוש קריאות API כדי לקבל את אותה תשובה שגויה שלוש פעמים.
לוגיקת retry מוכנת-לפרודקשן לסוכני AI צריכה להיות בעלת מצב ואבחנתית:
1. סווגו את הכשל לפני ניסיון חוזר. זו הייתה מגבלת קצב (חולפת, בטוח לנסות זהה)? תוצר מעוות (נסו מחדש עם אילוץ סכמה נקי יותר)? משימה שהובנה לא נכון (נסו מחדש עם פרומפט מנוסח מחדש או מפורק)?
2. אל תנסו מחדש לתוך אותו הקשר. אם ההקשר של הסוכן מושחת או עמוס, ניסיון חוזר באותו סשן מחמיר. התחילו סשן טרי, הזריקו רק את ההקשר החיוני, ונסו שוב.
3. הגבילו retries והסלימו. בוט ה-WhatsApp שלי על Cloud Run מאפשר שני ניסיונות חוזרים להודעה. בכשל השלישי, הוא שולח למשתמש הודעה ספציפית של "אני צריך רגע לחשוב על זה" ורושם את ההקשר המלא לתור ניטור. אני סוקר את הלוגים האלה מדי שבוע. הם מקור המידע היקר ביותר שיש לי על איפה הפרומפטים שלי מתפרקים.
בעיה 4: Observability מגיע אחרון (הוא צריך להגיע ראשון)
כל פעם שאני בונה סוכן חדש, אני עושה את אותה טעות: אני מוסיף observability מאוחר מדי. אני בונה, אני בודק, אני פורס - ואז כשמשהו נשבר בפרודקשן, אני טס עיוור כי אין לי לוגים, אין traces, אין נתוני עלות.
עכשיו אני בונה observability פנימה מהיום הראשון. הדברים הספציפיים שאני מכשיר:
- חביון לכל קריאת הסקה - לא רק זמן תגובה מקצה לקצה, אלא חביון לכל קריאה כדי שאדע איזה צעד בסוכן רב-שלבי הוא צוואר הבקבוק
- צריכת טוקנים לפי סוג משימה - זה מה ש-LLM Cost Lens נבנה כדי לחשוף; בלעדיו, אתם מגלים על בעיות עלות בדף החיוב
- שיעורי הצלחה/כשל של קריאות כלים - אם כלי נכשל 5% מהזמן, אתם צריכים לדעת את זה לפני שמשתמשים מתחילים לשים לב
- ניצול חלון הקשר בזמן ההסקה - הפונקציה הליבתית של ctxauditor; לדעת שאתם ב-73% הקשר לפני שמתחילים משימה כבדה נותן לכם להחליט אם לסכם קודם
תקנו אותי - "observability" היא המסגרת הלא נכונה. תחשבו על זה כטלמטריית סוכן. אתם לא רק רושמים לצורך דיבאגינג; אתם מייצרים את הנתונים שאתם צריכים כדי לשפר את הסוכן לאורך זמן. כל קריאת הסקה רשומה היא אות אימון לפרומפטים שלכם, להגדרות הכלים, לאסטרטגיית ניהול ההקשר.
בעיה 5: ניהול מצב בין סשנים
סוכנים חסרי מצב בסדר לדמו. סוכני פרודקשן צריכים זיכרון - אבל רוב המימושים מקבלים את הזיכרון לא נכון.
שני מצבי הכשל הנפוצים:
זכירת יתר: הסוכן מאחסן הכול, לנצח. היסטוריית השיחה גדלה בלי גבול. בשלב מסוים, הסוכן מתחיל לצטט דברים מלפני שישה חודשים שכבר לא נכונים, או שהוא שולף זיכרונות לא רלוונטיים כי ציון הדמיון הווקטורי היה מספיק קרוב.
זכירת חסר: הסוכן מתאפס בכל סשן. המשתמש צריך להסביר מחדש את ההקשר שלו בכל שיחה בודדת. זה הדפוס שגורם למשתמשים לנטוש כלי AI.
הארכיטקטורה שאני משתמש בה: זיכרון שכבתי עם TTLs מפורשים. הקשר מיידי חי בבאפר השיחה. זיכרון קצר-טווח (דברים רלוונטיים לעבודה של השבוע הנוכחי) חי בחנות ממונעת-מפתח עם TTL של 14 יום. זיכרון ארוך-טווח (העדפות משתמש, פרמטרי פרויקט, דפוסי משימות חוזרים) חי באחסון מתמשך ומאוצר במפורש - אני לא מקדם דברים אוטומטית לזיכרון ארוך-טווח; יש ציון סף מבוסס על חזרה ועוצמת אות.
בבוט ה-WhatsApp על Cloud Run, זיכרון ארוך-טווח הוא קובץ JSON פשוט לכל משתמש שאני מעדכן בסוף כל סשן. זה נשמע פרימיטיבי. זה עובד באמינות. פשטות בניהול זיכרון פרודקשן מנצחת ארכיטקטורות חכמות שאתם לא יכולים להסביר לעצמכם כשהן נשברות ב-3 לפנות בוקר.
הדבר האחד שבאמת מפריד פרודקשן מדמו
אחרי שמונה-עשר חודשים של פריסת סוכנים לסביבות אמיתיות, הייתי מזקק את זה לזה:
סוכני פרודקשן מעוצבים לכשל. סוכני דמו מניחים הצלחה.
בדמו, אם משהו משתבש, אתם מאתחלים. בפרודקשן, הסוכן חייב לטפל בכשל באלגנטיות, לשמור על אמון המשתמש, לרשום מה קרה, ולהמשיך לפעול. זו פילוסופיית עיצוב שונה לגמרי.
רשימת הבדיקה שאני מריץ לפני שאני קורא לסוכן "מוכן לפרודקשן":
- [ ] אסטרטגיית ניהול חלון הקשר במקום (סיכום, תקצוב, דחיסה)
- [ ] מצבי כשל מפורטים ומטופלים (לא רק שגיאות - תוצרים סבירים-אבל-שגויים)
- [ ] לוגיקת retry בעלת מצב עם סיווג כשלים
- [ ] Observability מוכשר מהפריסה הראשונה: חביון, עלות טוקנים, שיעור הצלחת כלים, ניצול הקשר
- [ ] זיכרון שכבתי עם TTLs - בלי צבירה בלתי מוגבלת, בלי אמנזיה חסרת מצב
- [ ] הידרדרות אלגנטית - אם הסוכן לא יכול להשלים את המשימה, הוא אומר זאת בבירור ורושם את ההקשר
- [ ] נבדק בעומס עם התפלגויות שאילתות ריאליסטיות, לא רק פרומפטים של נתיב שמח
שום דבר מזה לא זוהר. שום דבר מזה לא מופיע בדמו. כל זה הוא מה שהופך סוכן לשווה שימוש.
מקורות
ההפניות האלה תומכות במושגים הטכניים שנידונים כאן. הן לא מאמתות באופן עצמאי את הניסויים האישיים, העלויות או נתוני הביצועים המדווחים במאמר הזה. התנהגות מוצר יכולה להשתנות אחרי הפרסום.
- API deployment checklist: אמינות פרודקשן, אבטחה וניטור.
- Evaluation best practices: בדיקת התנהגות לפני ואחרי פריסה.
שאלות נפוצות
מהו סוכן AI בפרודקשן?
סוכן AI בפרודקשן הוא מערכת AI אוטונומית הפרוסה בסביבה אמיתית - מטפלת בבקשות משתמש בפועל, רצה תחת עומס אמיתי, ופועלת בלי פיקוח אנושי מתמיד. בניגוד לסוכני דמו, סוכני פרודקשן חייבים לטפל בכשלים באלגנטיות, לנהל הקשר וזיכרון ביעילות, ולשמור על אמינות על פני אלפי אינטראקציות, לא רק קומץ מקרי בדיקה.
למה סוכני AI נכשלים בפרודקשן אבל עובדים בדמו?
סוכני דמו רצים בתנאים מבוקרים עם קלטים צפויים. סוכני פרודקשן מתמודדים עם ניסוח משתמש בלתי צפוי, מגבלות קצב API, overflow של חלון הקשר, timeouts של רשת, ומקרי קצה שלא תוכננו עבורם. הפער הוא לא המודל - זה היעדר ניהול הקשר, לוגיקת retry, observability, וטיפול כשל אלגנטי.
מהו ניהול חלון הקשר לסוכני AI?
ניהול חלון הקשר הוא הפרקטיקה של שליטה באיזה מידע נכנס להקשר הפעיל של סוכן בכל צעד הסקה. טכניקות כוללות סיכום שיחה (דחיסת סיבובים ישנים), הפרדת מצב מערכת מהיסטוריית השיחה, והקצאת תקציבי טוקנים לפי סוג משימה לפני שההסקה מתחילה. ctxauditor נבנה במיוחד כדי לחשוף ניצול הקשר בצינורות סוכנים חיים.
איך מוסיפים observability לסוכן AI?
כשרו ארבעה מדדי מפתח מהיום הראשון: חביון הסקה לכל קריאה, צריכת טוקנים לפי סוג משימה, שיעורי הצלחה/כשל של קריאות כלים, וניצול חלון הקשר בתחילת כל הסקה. LLM Cost Lens עוקב אחרי הוצאת טוקנים והתפלגות עלות; ctxauditor מנטר ניצול הקשר. בלעדיהם, אתם מגלים בעיות בדפי חיוב או אחרי תלונות משתמשים.
מה ההבדל בין שגיאת סוכן למצב כשל של סוכן?
שגיאה אומרת שהקוד קרס או זרק חריגה. מצב כשל אומר שהסוכן רץ בהצלחה אבל ייצר תוצר שגוי, חלקי, או לא קוהרנטי. מצבי כשל קשים יותר לתפיסה כי הם לא מפעילים התראות - הם פשוט מחזירים בשקט תשובות שגויות שנראות סבירות. סוכני פרודקשן צריכים ולידציית תוצר מפורשת, בדיקות סכמה, ושכבות אימות-השלמה.
איך סוכני AI צריכים לטפל בזיכרון בין סשנים?
השתמשו בזיכרון שכבתי עם הגדרות time-to-live (TTL) מפורשות: הקשר מיידי בבאפר השיחה, זיכרון קצר-טווח בחנות ממונעת-מפתח (TTL של 7-14 יום), וזיכרון מתמשך ארוך-טווח להעדפות משתמש ופרמטרי פרויקט. הימנעו משני הקיצוניים - צבירה בלתי מוגבלת (גורמת לשליפות לא רלוונטיות) וחוסר-מצב מלא (מכריח משתמשים להסביר הקשר מחדש בכל סשן).
כמה עולה להריץ סוכן AI בפרודקשן?
העלויות משתנות מאוד לפי מודל, מורכבות משימה, ונפח בקשות. מניע העלות הגדול ביותר הוא בדרך כלל צריכת טוקנים לפי סוג משימה - שרוב הבונים לא מודדים עד שהם רואים הפתעת חיוב. LLM Cost Lens נבנה כדי לחשוף הוצאת API בזמן אמת על פני ספקי מודלים ולהראות התפלגות עלות לפי סוג משימה, כדי שתוכלו לזהות אילו התנהגויות סוכן יקרות לפני שהן הופכות לבעיות תקציב.
כמה זמן לוקח להפוך סוכן AI למוכן לפרודקשן?
סוכן מעוצב היטב יכול להיות מוכן לפרודקשן תוך ימים. הזמן הוא לא במודל או בפרומפט - הוא בבניית התשתית המקיפה: ניהול הקשר, לוגיקת retry, observability, זיכרון, והידרדרות אלגנטית. מהניסיון שלי בפריסת ארבעה סוכני פרודקשן בשמונה-עשר חודשים, היחס הוא בערך 30% בניית הסוכן ו-70% בניית הערכת הפרודקשן סביבו.
קריאה נוספת
- איך זיכרון של סוכן AI באמת עובד (ולמה רוב הסוכנים שוכחים הכול)
זיכרון של סוכן AI הוא ההבדל בין סוכן שמצטבר על עבודת עבר לבין סוכן שמתחיל מאפס בכל קריאה. הנה איך אני חושב על ארבעת סוגי הזיכרון, מה אני באמת משלח, ולמה חלונות הקשר הם לא זיכרון.
- AgentCanary: ניטור סוכני AI שתופס כשלים שקטים
רוב סוכני ה-AI נכשלים בשקט. הנה איך בניתי את AgentCanary - מערכת בדיקות מתוזמנות שתופסת רגרסיות, סחף, וכשלים שקטים לפני שהמשתמשים שלכם עושים את זה.
- Agent Skills עובר ל-Agentic AI Foundation: מה התרומה משנה לבונים
Anthropic תרמה את תקן הקוד הפתוח Agent Skills ל-Agentic AI Foundation של קרן Linux ב-22 באוקטובר, לצד Open Responses, OpenEnv ו-OpenSandbox. מה ההכרזות אומרות, מה עדיין roadmap, ומה לבדוק לפני שאתם מסתמכים על זה.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS