דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-10-18·7 דק׳

AQuA של גוגל קורא את ה-traces של סוכן הפרודקשן שלכם. מה הוא עושה, מה הוא עולה, ומה גוגל לא הראתה

גוגל פתחה-מקורית את AQuA, סוכן איכות אמביינטי שדוגם סשנים בפרודקשן, מקבץ כשלונות ומאבחן אותם מול קוד המקור הפרוס. מה הפוסט של גוגל אומר, עם המספרים והמגבלות שלו עצמו.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

סוכן פרודקשן יכול להיכשל בלי שום שגיאה. הוא מחזיר HTTP 200, נשאר בתוך תקציב החביון שלו, ועדיין מתעד מושב כמאושר בלי לבדוק אם המושב פנוי.

ב-8 באוקטובר, גוגל פרסמה את AQuA (Ambient Quality Agent), מימוש ייחוסי בקוד פתוח שמנסה לתפוס את הסוג הזה של כשלון. כל מה שלמטה בא מהפוסט של גוגל והריפוזיטורי שהוא מפנה אליו. התוצאות הן של גוגל עצמה, מסוכן הדמו שלה.

מהו AQuA

לפי הפוסט, AQuA רץ ללא השגחה לצד הסוכן שלכם בפרויקט Google Cloud שלכם. הוא קורא טרג'קטוריות פרודקשן מ-Cloud Trace, Cloud Logging או BigQuery על לוח זמנים, אחרי פריסה, או לפי דרישה. גוגל אומרת שהוא אף פעם לא יושב בנתיב הבקשה ואף פעם לא כותב חזרה לסוכן שלכם.

כל ריצה עוברת חמישה שלבים:

1. דגימה. עד 1,000 סשנים אחרונים, נבחרים אקראית, כדי לשמור עלות צפויה.

2. סקירה. כל סשן מדורג מול רשימת בדיקה של תשע נקודות (פרוצדורה, בחירת כלי וארגומנטים, grounding, השלמת משימה ואחרות). כשלון הופך לממצא מובנה של בפועל-מול-צפוי.

3. קיבוץ. ממצאים עם אותו מנגנון כשלון מקובצים.

4. אימות. מודל נפרד בודק כל אשכול מול עד שלושה תמלילים מלאים ומשמיט אשכולות שהראיות לא תומכות בהם.

5. מעקב. אשכולות שורדים מותאמים מול תובנות פתוחות ב-BigQuery כחדשות, חוזרות, או נפתרות אחרי 14 יום בלי הופעה.

אפשר לכוון את הסקירה עם goal.md באנגלית פשוטה, ולהוסיף מדדים דטרמיניסטיים ב-Python ב-eval_config.yaml. ניתוח שורש-סיבה הוא שלב נפרד לפי דרישה. הוא קורא טרג'קטוריות כושלות לצד צילום מקור בלתי-ניתן-לשינוי שנלכד בזמן הפריסה, וכשהפגם בריפוזיטורי שלכם הוא מצטט קובץ וטווחי שורות ומציע עריכה. גוגל אומרת שהוא אף פעם לא מיישם עריכה או פותח pull request בעצמו.

הדוגמה המעובדת של גוגל

הפוסט עובר על travel-concierge, דוגמת multi-agent ב-google/adk-recipes. גוגל השמיעה מחדש ארבע מסלולי מטיילים מתוסרטים 32 פעמים, מה שייצר 1,583 spans של OpenTelemetry.

  • 5 סשנים עברו ו-27 ייצרו 42 ממצאים.
  • הקיבוץ נתן 9 אשכולות מועמדים. המאמת דחה 3 ושמר 6.
  • הבעיה המובילה: סוכן התכנון שמר מספר מושב למצב הסשן בלי לקרוא לסוכן בחירת-המושבים (15 סשנים).
  • עוד אחת: העדפה טבעונית בפרופיל המטייל מעולם לא הגיעה לתת-סוכן עטוף ככלי מבודד, אז הוא הציע מנות סטייק (7 סשנים).
  • שלישית: תת-סוכן הוצהר עם רשימת כלים ריקה בזמן שהפרומפט שלו דרש שדות מפה מאומתים, אז הוא המציא URLs של example.com (5 סשנים).

גוגל אומרת שניתוח שורש-הסיבה עקב אחרי שתי הראשונות לשורות בודדות בקבצי פרומפט. אחרי שני תיקוני פרומפט של שורה אחת ופריסה מחדש, השמעה חוזרת של אותם 32 סשנים הראתה את בעיית המושב יורדת מ-15 סשנים ל-2 ובעיית הטבעוני מ-7 ל-0. מעברי סשן מלאים עלו מ-5 מתוך 32 ל-13 מתוך 32.

שימו לב לסקייל. אלו 32 השמעות מתוסרטות על סוכן דוגמה, לא מדידה על תעבורה אמיתית. הפוסט עצמו קורא למערכת מימוש ייחוסי עם פשרות מכוונות.

עלות, כפי שגוגל מדווחת

גוגל נותנת שתי עלויות ריצה בתמחור רגיל של פלטפורמת Gemini:

  • סריקת סוכן-יחיד של 96 סשנים: $0.70 סך הכל, בערך $0.007 לסשן.
  • סריקת travel-concierge של 32 סשנים: $3.76 סך הכל, בערך $0.12 לסשן.
  • אבחון שורש-סיבה הוא לפי דרישה ועולה $0.33 עד $2.47 לתובנה נחקרת, תלוי כמה טרג'קטוריות מלאות הוא קורא.

עלות הסשן עלתה בערך פי 17 בין שתי הדוגמאות, וגוגל קושרת את זה לעומק הטרג'קטוריה (בערך 5 עד 6 spans לסשן מול בערך 50). הסוכנים שלכם ינחתו איפשהו על העקומה ההיא. לא הרצתי את AQuA, אז אני לא יכול להגיד מה המספר שלכם יהיה.

מה גוגל אומרת שלא נפתר

הפוסט מפרט את הבעיות הפתוחות שלו עצמו. אלה שמשנות להחלטה אם לאמץ:

  • דגימה אקראית. הוא דוגם עד 1,000 סשנים אקראית. גוגל אומרת שלתפוס רגרסיה שקטה שמשפיעה על 1% מזרימת עבודה קריטית, בלי להריץ שופט עמוק על כל סשן, עדיין קשה.
  • שופטים מול מומחים. לגרום לשופטי מודל להסכים עם מומחי תחום היא עבודת הנדסה אמיתית.
  • מגבלות replay. adk run --replay שולח מחדש תורות משתמש מוקלטים, מה שעובד כשכלים אידמפוטנטיים או מדומים, אבל לא בונה מחדש מצב חיצוני.
  • traces ארוכים. העברת תמלילים שלמים מתקלקלת לסוכנים שרצים מאות תורות.
  • טעות מאמת. על benchmark פנימי של 87 traces, המאמת דחה 4 מתוך 24 אשכולות מועמדים. גוגל אומרת שסוכן שמאבחן את הסוכן שלכם יטעה לפעמים.

מה הייתי בודק לפני שמאמצים

אלה הצעות שלי שלא נבדקו.

1. קראו את הכשלונות שלכם קודם. אם אתם עוד לא מכירים את שלושת דפוסי הכשלון המובילים שלכם ביד, כלי שמקבץ אותם יהיה קשה להערכה.

2. בדקו את ההתאמה. AQuA בנוי אחד-לאחד לצד סוכן ADK על Google Cloud. אם הסוכן שלכם על סטק אחר, הפוסט של גוגל לא אומר כמה עבודה ההעברה.

3. הריצו את הדמו המקומי. גוגל אומרת ש-make demo משרת את הדשבורד על נתונים סינתטיים בלי פרויקט ענן, אישורים או קריאות מודל.

4. התייחסו לתובנות כלידים. פתחו כמה traces מצוטטים בעצמכם לפני פעולה על שורש-סיבה.

מה לא הייתי מסיק

  • שקפיצת שיעור המעבר מ-5/32 ל-13/32 מנבאת משהו על תעבורה אמיתית.
  • שנתוני העלות מחזיקים לסוכן שלכם.
  • שאבחון אוטומטי מחליף קריאת traces. המיסגור של גוגל עצמה הוא מעבר ראשון למי שבתורנות.

שאלות נפוצות

מהו AQuA?

סוכן איכות אמביינטי בקוד פתוח מגוגל שסורק סשנים של סוכני פרודקשן, מקבץ כשלונות, מאמת אותם ויכול לאבחן שורשי-סיבה מול מקור מזמן-פריסה.

איפה הוא רץ?

בפרויקט Google Cloud שלכם, לצד הסוכן שלכם. גוגל אומרת שתמלילים, צילומי מקור וטבלאות BigQuery נשארים בתוך הפרויקט שלכם.

האם הוא משנה את הסוכן שלי?

לפי גוגל, לא. הוא מחוץ לנתיב הבקשה ואף פעם לא מיישם עריכות או פותח pull requests בעצמו.

מאיפה הוא לוקח נתונים?

Cloud Trace, Cloud Logging או BigQuery.

כמה עולה להריץ אותו?

גוגל מדווחת $0.007 עד $0.12 לסשן בשתי הדוגמאות שלה, ועוד $0.33 עד $2.47 לחקירת שורש-סיבה.

אפשר לנסות בלי פרויקט ענן?

גוגל אומרת שהדמו המקומי על נתונים סינתטיים לא צריך פרויקט ענן, אישורים או קריאות מודל.

האם הוא מוכן לפרודקשן?

גוגל מתארת אותו כמימוש ייחוסי ששותף בפתח כדי לאסוף משוב, עם כמה בעיות פתוחות מפורטות.

מקורות

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS