דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-06-17·9 דק׳

AgentCanary: ניטור סוכני AI שתופס כשלים שקטים

רוב סוכני ה-AI נכשלים בשקט. הנה איך בניתי את AgentCanary - מערכת בדיקות מתוזמנות שתופסת רגרסיות, סחף, וכשלים שקטים לפני שהמשתמשים שלכם עושים את זה.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

סוכן ה-AI שלכם עבד מצוין בשלישי שעבר. היום הוא נותן למשתמשים זבל ואין לכם מושג מתי זה התחיל. זו בעיית הניטור - והיא לא נפתרת בלוגים.


בפעם הראשונה שאחד הסוכנים שלי נשבר בשקט בפרודקשן, התביישתי. לא כי הוא נשבר - הכול נשבר - אלא כי גיליתי מהודעת Slack, לא מהתשתית שלי. סוכן ה-AI Mafia, שמנתב שאילתות בין שבעה מודלים מתמחים שונים, התחיל לנתב כמעט הכול למודל הזול ביותר אחרי שינוי פרומפט במעלה הזרם. במשך ארבעה ימים. אף אחד בצוות לא תפס את זה כי התוצרים נראו סבירים. הם פשוט היו שגויים בעקביות.

התקרית ההיא חיווטה מחדש איך שאני חושב על מערכות AI בפרודקשן. ניטור תוכנה מסורתי - בדיקות זמינות, שיעורי שגיאה, אחוזוני חביון - נחוץ אבל רחוק מלהספיק לסוכני LLM. תגובת 200 OK עם זמן תגובה של 95 אלפיות שנייה לא אומרת כלום אם המודל בדיוק אמר למשתמש שלכם בביטחון את הדבר הלא נכון. צריכה שכבה אחרת.

הבעיה המרכזית: LLMs נכשלים אחרת מתוכנה רגילה

תוכנה רגילה נכשלת ברעש. חריגות עולות למעלה. קודי סטטוס הופכים ל-500. חביון מזנק. כל אלה אותות ניתנים לזיהוי.

LLMs נכשלים בשקט. בקשת ה-HTTP מצליחה. התגובה קוהרנטית דקדוקית. ספירת הטוקנים נורמלית. אבל ה*תשובה* סחפה - אולי כי המודל קיבל עדכון system prompt חדש, אולי כי חלון ההקשר מלא יותר עכשיו משהיה בבדיקות, אולי כי מערכת השליפה במעלה הזרם השתנתה ועכשיו מזריקה מסמכים שונים לחלון. אף אחד ממצבי הכשל האלה לא מופיע בדשבורד APM סטנדרטי.

ראיתי גם משהו עדין יותר: סוכנים שלא נכשלים לגמרי אלא מידרדרים באלגנטיות בכיוון הלא נכון. הם מתחילים לגמגם יותר. הם מפסיקים להשתמש בכלים שהם אמורים להשתמש בהם. הם חוזרים לתשובות גנריות כשהם צריכים להפעיל זרימת עבודה ספציפית. אם אתם רק צופים בשיעורי שגיאה, תפספסו את כל זה.

תקנו אותי - אתם לא רק תפספסו את זה. אתם תרגעו באופן פעיל בזמן שהסוכן שלכם נעשה גרוע יותר.

מה AgentCanary באמת עושה

AgentCanary היא מערכת ניטור שבניתי במיוחד לבעיה הזו. הרעיון פשוט: להריץ שאלות בדיקה מתוזמנות מול נקודות הקצה של הסוכן הפרוס שלכם, להשוות את התגובות לבסיסים ידועים-טובים, ולהתריע כשמשהו סוטה.

הנה הארכיטקטורה הקונקרטית:

1. ספריית בדיקות. לכל סוכן שאני רוצה לנטר, אני מחזיק סט של 8-20 שאלות בדיקה שתייגתי ידנית עם התנהגות צפויה. לא תוצרים צפויים מדויקים - זה יהיה שביר מדי - אלא בסיסי מילות מפתח וטענות התנהגותיות. לסוכן הניתוב שלי, בדיקה יכולה להיות: "מה ה-ARR של לקוח מספר 4421?" טענת הבסיס היא: uses_tool: crm_lookup וגם response_contains: "ARR". אם הסוכן עונה על השאלה ההיא בלי לקרוא לכלי ה-CRM, משהו השתנה.

2. ביצוע מתוזמן. משימת Cloud Scheduler יורה כל 30 דקות, קוראת לכל נקודת קצה מנוטרת עם שאלות הבדיקה, ומאחסנת את התגובות הגולמיות בקולקציית Firestore. המתזמן מוגדר עם manifest פשוט של JSON - לכל ערך יש כתובת נקודת קצה, מזהה סט בדיקות, ואסטרטגיית השוואה.

3. לוגיקת השוואה. כאן זה נעשה מעניין. אני משתמש בשלוש אסטרטגיות השוואה תלוי מה אני מנטר:

  • בסיס מילות מפתח: האם התגובה מכילה מונחים צפויים ונמנעת מאסורים? זול, מהיר, טוב לזיהוי סחף קטסטרופלי.
  • LLM-כשופט: מודל שני, זול יותר, מעריך אם תגובת הבדיקה מספקת את הכוונה המוצהרת. יקר יותר אבל תופס סחף סמנטי שהתאמת מילות מפתח מפספסת.
  • טענה התנהגותית: האם הסוכן קרא לכלים הנכונים, בערך בסדר הנכון? זה דורש לכשר את הסוכן לרשום את קריאות הכלים שלו איפשהו ש-AgentCanary יכולה לקרוא.

4. התראות. כשבדיקה נכשלת - כלומר התגובה יורדת מתחת לסף בכל אסטרטגיית השוואה שאני משתמש בה - AgentCanary יורה webhook. אני מנתב את זה להודעת WhatsApp (דרך אותה תשתית שאני משתמש בה לכל השאר, שכבת ה-Green API על Cloud Run). תוך שניות אני יודע איזה סוכן, איזו בדיקה, מה ההתנהגות הצפויה הייתה, ומה באמת קרה.

כל הדבר רץ על Cloud Run. cold start מתחת ל-800 אלפיות שנייה. עלות חודשית לניטור ארבעה סוכנים פעילים על פני כ-2,880 ביצועי בדיקה (מרווחי 30 דקות × 24 שעות × 30 ימים) היא בערך 3.20$. זו לא שגיאת הקלדה.

למה בדיקות מנצחות ניטור פסיבי

האלטרנטיבה המובנת מאליה היא ניטור פסיבי: רשמו הכול, הריצו ניתוח על הלוגים, הציפו חריגות. ניסיתי את זה קודם עם הקמת ctxauditor שלי - סריקת פרוטוקולי סשנים לדפוסים שמצביעים שמשהו השתבש. זה עובד, אבל יש לו בעיית חביון בסיסית.

ניטור פסיבי אומר לכם שמשהו השתבש בדיעבד, ולעיתים קרובות רק אחרי שאספתם מספיק נתונים לראות את הדפוס. אם מערכת מבוססת-בדיקות תופסת רגרסיה בחלון ה-30 דקות הבא, ניתוח הלוגים הפסיבי שלכם עלול לא להציג אותה שעות - או עד שתסתכלו על דשבורד ידנית. לסוכני פרודקשן שמטפלים בשאילתות לקוחות, הפער הזה משנה.

יש גם בעיית כיסוי בניטור פסיבי. אתם יכולים לנתח רק מה שבאמת קרה. אם זרימת עבודה ספציפית לא הופעלה זמן מה - אולי כי הסוכן בעדינות הפסיק לנתב אליה - לא תראו כשלים בנתיב ההוא כי אין בקשות לרשום. בדיקות של AgentCanary פוגעות ב*כל* זרימת עבודה שאכפת לי ממנה, כל 30 דקות, ללא קשר לתנועה בפועל.

טעיתי בזה במשך שבוע: חשבתי שבדיקות יהיו סינתטיות מדי, שהן יפספסו את מצבי הכשל ה"אמיתיים" שמופיעים רק תחת עומס פרודקשן. זה נכון לחלק מהדברים. אבל רוב רגרסיות סוכני ה-LLM שראיתי הן שיטתיות - הן משפיעות על כל התגובות, לא רק מקרי קצה. בדיקה תופסת את אלה מיד.

לבנות ספריית בדיקות משלכם

החלק הקשה ב-AgentCanary הוא לא התשתית - זה כתיבת בדיקות טובות. הנה מה שלמדתי אחרי כישור שישה סוכנים שונים:

התחילו עם נתיב השמח שלכם, לא מקרי הקצה. הבדיקות היקרות ביותר הן אלה שמוודאות שהפונקציונליות הליבתית שלכם עדיין עובדת. אם הסוכן שלכם אמור לקבוע פגישות ובדיקת הקביעה נכשלת, זו P1. כתבו את הבדיקה ההיא ראשונה.

בדיקות צריכות לקחת 5 דקות לכתוב ולהיות קריאות על ידי לא-מהנדסים. אם תיאור הבדיקה דורש הבנת המימוש שלכם, תפסיקו לתחזק אותה. אני כותב את שלי כמשפטים פשוטים: "כשמתבקש לסכם את 90 הימים האחרונים של לקוח, הסוכן צריך לקרוא לכלי activity_log ולהזכיר מספר ספציפי."

נהלו גרסאות לבדיקות יחד עם הפרומפטים שלכם. כשאני מעדכן system prompt, אני מעדכן את בסיסי הבדיקה הרלוונטיים באותו זמן. הבדיקות חיות באותו מאגר כמו קוד הסוכן. זה נשמע מובן מאליו אבל כמעט אף אחד לא עושה את זה.

השתמשו באסטרטגיית LLM-כשופט לפחות לבדיקה אחת לסוכן. התאמת מילות מפתח נחוצה אבל לא מספיקה. שופט LLM יכול לתפוס את המקרה שהסוכן שלכם טכנית כולל את מילות המפתח הנכונות אבל עונה על שאלה אחרת מזו שנשאלה.

המספרים שגרמו לי להמשיך לבנות את זה

מאז פריסת AgentCanary על פני ארבעת סוכני הפרודקשן הפעילים שלי:

  • 3 רגרסיות נתפסו לפני שמשתמש כלשהו דיווח עליהן, בערך בארבעה חודשי פעילות
  • זמן חציוני לזיהוי: 17 דקות (זמן ממוצע לביצוע הבדיקה הבא אחרי שהרגרסיה מתחילה)
  • 2 חיוביים-שגויים באותה תקופה - שניהם הופעלו על ידי חביון API במעלה הזרם שגרם לקריאות הכלים של הסוכן ל-time out, ש-AgentCanary סימנה בצדק כ"התנהגות שגויה" למרות שזו לא הייתה טכנית בעיית מודל

מקרה הניתוב הרב-סוכני שהזכרתי בהתחלה? פער ארבעת הימים ההוא מצטמצם לפחות משעה עם AgentCanary רצה. לסוכן ה-AI Mafia יש בדיקה שבודקת ספציפית התנהגות ניתוב - היא שואלת שאילתה שצריכה ללכת למודל ההסקה היקר, והבדיקה נכשלת אם לתגובה אין הסמנים המבניים של סגנון התפוקה של המודל ההוא.

LLM Cost Lens, אב-טיפוס מעקב העלויות שלי, גם נהנה מזה. אחת הבדיקות שלו בודקת שבהינתן אירוע שימוש לדוגמה, הסוכן מעריך עלות נכון בתוך מרווח של 5%. עדכון מודל ברבעון שעבר שינה בשקט התנהגות טוקניזציה מסוימת, והערכות העלות סחפו ב-8%. AgentCanary תפסה את זה במחזור הבדיקה הבא.

מה זה לא

AgentCanary היא לא כלי בדיקות עומס. היא לא מסגרת A/B testing. היא לא מחליפה evals (כתבתי על איך אני בונה evals בנפרד - הם פותרים בעיה אחרת בזמן פיתוח, לא זמן פרודקשן).

היא גם לא פותרת את בעיית חלון ההקשר - אם הסוכן שלכם צובר הקשר מיושן ומידרדר בהדרגה לאורך סשן ארוך, בדיקות חסרות-המצב של AgentCanary לא יתפסו את הסחף ההוא. זו בעיה אחרת, יותר בשטח של הנדסת הקשר.

מה שהיא עושה הוא לתת לכם מערכת אזהרה מוקדמת אמינה למצבי הכשל הנפוצים ביותר: שינויי system prompt ששוברים התנהגות, שינויי נתונים במעלה הזרם שמזיזים מה הסוכן רואה, עדכוני מודל שמשנים סגנון תפוקה, ולוגיקת ניתוב שבשקט מפסיקה לעבוד.

זה לא הכול. אבל זה ההבדל בין לגלות מהמשתמשים שלכם לבין לגלות בעצמכם, שלושים דקות מאוחר יותר, ב-WhatsApp.


8 שאלות שאני מקבל על ניטור סוכני AI

מהו ניטור סוכני AI ולמה הוא שונה מניטור אפליקציות רגיל?

ניטור סוכני AI עוקב אחרי אם סוכן מונע-LLM עדיין מתנהג נכון - לא רק אם הוא מחזיר HTTP 200. בניגוד לאפליקציות רגילות, סוכנים יכולים להיכשל בשקט על ידי הפקת תוצרים שוטפים אבל שגויים. כלי APM מסורתיים מפספסים את זה לגמרי. אתם צריכים בדיקות התנהגותיות שבודקות איכות תגובה בפועל, לא רק זמינות.

איך AgentCanary עובדת טכנית?

AgentCanary מריצה שאלות בדיקה מתוזמנות מול נקודות הקצה של הסוכן שלכם כל 30 דקות דרך Cloud Scheduler. היא משווה תגובות לבסיסי מילות מפתח או משתמשת במדרג LLM-כשופט. כשבדיקה נכשלת, היא יורה התראת webhook. המחסנית היא Cloud Run, Firestore, ו-Cloud Scheduler. עלות חודשית לארבעה סוכנים: בערך 3.20$.

מהי "שאלת בדיקה" בהקשר של ניטור סוכנים?

בדיקה היא קלט בדיקה סינתטי שאתם שולחים לסוכן שלכם על לוח זמנים. היא משולבת עם טענה התנהגותית - מה הסוכן צריך לעשות או להגיד. בדיקות מוודאות שזרימות העבודה הליבתיות של הסוכן עדיין מתפקדות. הן פשוטות יותר מ-evals: המטרה היא זיהוי רגרסיה מוקדם, לא מדידת איכות מקיפה.

האם אפשר להשתמש ב-AgentCanary עם כל פריימוורק LLM?

כן, כל עוד הסוכן שלכם חושף נקודת קצה HTTP. AgentCanary ניטרלית-פריימוורק - היא עובדת עם LangChain, LlamaIndex, קריאות Claude/OpenAI API גולמיות, או ארכיטקטורות מותאמות אישית. לטענות התנהגותיות (האם הסוכן קרא לכלי הנכון?), אתם צריכים לרשום קריאות כלים איפשהו נגיש, אבל זה צעד כישור חד-פעמי.

כמה בדיקות כדאי לכתוב לסוכן?

התחילו עם 5-8 בדיקות שמכסות את זרימות העבודה העיקריות של הסוכן. כל בדיקה צריכה לקחת פחות מחמש דקות לכתוב. תעדפו את זרימות נתיב-השמח קודם - הדברים שחייבים לעבוד בפרודקשן. הוסיפו בדיקות מקרי-קצה מאוחר יותר כשאתם מגלים אילו מצבי כשל באמת מופיעים בפרודקשן.

מה ההבדל בין evals לבדיקות ניטור סוכנים?

Evals רצים בזמן פיתוח מול מערך נתונים מתויג קבוע כדי למדוד איכות לפני שאתם משלחים. בדיקות רצות בפרודקשן על לוח זמנים כדי לתפוס רגרסיות אחרי ששלחתם. Evals עונים "האם הגרסה הזו טובה יותר מהקודמת?" בדיקות עונות "האם מה ששלחתי בשבוע שעבר עדיין עובד ממש עכשיו?" אתם צריכים את שניהם.

איך מטפלים בחיוביים-שגויים בניטור סוכנים?

חיוביים-שגויים מגיעים בדרך כלל מבעיות תשתית - timeouts של API במעלה הזרם, מגבלות קצב, או בעיות רשת חולפות - לא רגרסיות סוכן בפועל. AgentCanary מנסה אוטומטית בדיקה כושלת פעם אחת לפני התראה. אני גם עוקב אחרי שיעור חיוביים-שגויים לאורך זמן; שניים בארבעה חודשים על פני ארבעה סוכנים זה מקובל. אם שיעור החיוביים-השגויים שלכם עולה מעל 10%, הדקו את ספי הטענות או הוסיפו לוגיקת ניסיון חוזר.

האם ניטור סוכני AI שווה את זה לפרויקטים קטנים?

כן, אם משתמשים אמיתיים תלויים בתפוקת הסוכן. עלות התשתית זניחה - כמה דולרים בחודש על Cloud Run. עלות הזמן היא כתיבת 5-8 בדיקות לסוכן, אולי שעתיים מראש. התמורה היא לגלות על רגרסיות בעצמכם, תוך 30 דקות, במקום ממשתמש כועס ארבעה ימים מאוחר יותר. העסקה הזו כמעט תמיד שווה את זה.

מקורות

ההפניות האלה תומכות במושגים הטכניים שנידונים כאן. הן לא מאמתות באופן עצמאי את הניסויים האישיים, העלויות או נתוני הביצועים המדווחים במאמר הזה. התנהגות מוצר יכולה להשתנות אחרי הפרסום.

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS