דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-10-20·7 דק׳

סוכני קול שותקים בזמן שכלים רצים. התיקון של ADK של גוגל: כלי streaming ו-response_scheduling

המדריך של גוגל מ-19 באוקטובר מראה איך כלי streaming של ADK, הרצה ברקע ו-response_scheduling משאירים סוכן קולי של Gemini Live מדבר בזמן קריאות כלים איטיות. מה הוא טוען, הדפוסים, והאזהרות לפרודקשן שהוא מפרט.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

בצ'אט טקסט, קריאת כלי איטית מראה ספינר. בשיחה קולית, זו שתיקה, ומשתמשים מניחים שהשיחה נותקה.

המדריך של גוגל מ-19 באוקטובר, Build a Voice Agent That Never Goes Silent using ADK, מכסה איך להימנע מזה ב-Agent Development Kit (ADK) עם gemini-3.8-live. המאמר הזה מסכם את המדריך. כל המספרים וההתנהגויות הם של גוגל, מזרימת הדמו שלה עצמה. לא הרצתי את הקוד.

הבעיה

כלי ADK סטנדרטי הוא async def שמחזיר פעם אחת. גוגל אומרת שבמהלך סשן Gemini Live (run_live), הלולאה מחכה לאותה החזרה לפני שהמודל מייצר תורות נוספים. אם הכלי לוקח 13 שניות, הסוכן שותק 13 שניות. לומר למודל "תגיד למשתמש שאתה עובד על זה" לא מתקן את זה, המדריך אומר, כי התור של המודל חסום בהמתנה לתגובת הפונקציה.

המספר הראשי של גוגל: בזרימת עבודת benchmark של דוח מכירות על gemini-3.8-live, מעבר מכלי חוסם לכלי streaming קיצר את הזמן למילים הראשונות של הסוכן מ-14.4 שניות ל-1.2 שניות. זו זרימת עבודה אחת, שנבנתה על ידי הספק כדי להציג את התכונה.

גוגל גם ברורה על הגבול: כלים לא-חוסמים לא הופכים את ה-backend למהיר יותר. שאילתה של 13 שניות עדיין לוקחת 13 שניות. מה שמשתנה הוא מה שהמשתמש שומע.

דפוס 1: כלי streaming

כשלעבודה יש שלבים אמיתיים, הפכו את הכלי ל-async generator ושנו return ל-yield. לפי המדריך, ADK אז מסמן את הצהרת הכלי כ-NON_BLOCKING ומיד שולח למודל אישור סטטוס, אז הסוכן יכול לדבר מיד. כל yield נשלח כתגובת פונקציה חלקית, והמודל מנסח אותה מחדש. גוגל מציינת שהקריינות יכולה לפגר אחרי הכלי בכמה שניות. אם המשתמש שואל משהו לא קשור באמצע העבודה, הסוכן יכול לענות בלי לבטל את המשימה.

גוגל מפרטת שלוש אזהרות לפרודקשן:

  • קריאות single-flight. מודלים עלולים לנסות לקרוא לכלי שוב אם מתבקשים שוב ושוב. שימו "Call this ONCE" ב-docstring ושקלו latch בזיכרון או מפתח idempotency.
  • ביטול. כללו פונקציה בשם stop_streaming(function_name: str) ברשימת הכלים. ADK מיירט אותה ומבטל את ה-asyncio.Task של ה-generator, מעלה asyncio.CancelledError בפונקציה שלכם כדי שתוכלו לסגור חיבורים נקי.
  • Barge-in לא מבטל כלים. כשהמשתמש מדבר מעל הסוכן, ה-Live API עוצר את פלט המודל ו-ADK פולט אירוע עם interrupted=True כדי שהלקוח יוכל לעצור אודיו. כלים רצים לא מבוטלים והתוצאות שלהם עדיין מועברות. כדי לעצור אחד, המודל צריך לקרוא ל-stop_streaming.

דפוס 2: הרצה ברקע

כשלהמתנה אין סיפור, גוגל מציעה לרוץ בשקט. שתי גישות:

  • Generator עם yield יחיד. async generator שמייצר פעם אחת, עם ההשלמה. ADK מוציא תגובת pending מיידית, אז הסוכן מאשר את הבקשה, נשאר שקט במהלך העבודה, ואז מציג תוצאות כשמוכן או כשהמשתמש מסיים לדבר.
  • FunctionTool עם response_scheduling. שמרו coroutine רגילה, עטפו ב-FunctionTool, והגדירו response_scheduling = types.FunctionResponseScheduling.WHEN_IDLE. המדריך מציין את הפשרה: עם coroutine שמחזירה-פעם המודל לא מקבל כלום עד שהפונקציה מסתיימת, אז הוא בדרך כלל לא אומר אישור התחלתי אלא אם המשתמש ממשיך לדבר. הערה אומרת שב-ADK 2.10 ומעלה אפשר להגדיר behavior = types.Behavior.NON_BLOCKING במקום.

שליטה מתי התוצאה נוחתת

response_scheduling קובע מתי המודל מגיב לתגובת כלי נכנסת. בסשני ה-benchmark של גוגל על gemini-3.8-live:

  • WHEN_IDLE: אף פעם לא חותך לתוך תור בתהליך. דוח חיכה בזמן שהמודל סיים תשובה נפרדת של 20 שניות, ואז הועבר.
  • INTERRUPT: התוצאה קטעה דיבור נוכחי באמצע משפט, ואז המודל סיים את תשובתו והוסיף את הנתונים.
  • SILENT: התוצאה נכנסה להיסטוריית השיחה לתורות מאוחרים יותר בלי הכרזה.

צורת ההרצה (streaming מול החזרה יחידה) ותזמון המסירה הם בלתי תלויים ואפשר לשלב אותם. על כלי streaming, הגדרת response_scheduling מטביעה כל עדכון חלקי. לפי המדריך, ב-ADK 2.8 וחדש יותר כלי streaming יכול לבחור תזמון לכל עדכון על ידי הנבת types.FunctionResponse עם ערך scheduling, למשל SILENT להתקדמות ביניים ו-WHEN_IDLE לתוצאה הסופית.

כלל האצבע של גוגל: אם להמתנה יש סיפור, עשו לה stream. אם זו רק המתנה, הריצו אותה ברקע ותנו לתוצאה לנחות כשפנוי.

דרישות כמוצהרות

  • google-adk >= 2.10.0
  • gemini-3.8-live על Gemini Enterprise
  • סשן live דו-כיווני (run_live)

מה הייתי בודק

אלה הצעות שלי שלא נבדקו.

1. מדדו את הכלים שלכם קודם. אם רובם מסתיימים תוך שנייה-שתיים, כל זה לא משנה.

2. בדקו את בעיית ה-single-flight בכוונה על ידי בקשת אותו דבר פעמיים.

3. החליטו מה קורה ב-barge-in. גוגל אומרת שהכלי ממשיך לרוץ, אז משתמש שאומר "לא משנה" צריך נתיב ל-stop_streaming.

4. בחרו תזמון לכל כלי. התראה קריטית ודוח רקע כנראה רוצים מצבים שונים.

5. הקשיבו להקלטות. גוגל מציינת שקריינות יכולה לפגר, ושום benchmark לא מחליף לשמוע את זה.

מה לא הייתי מסיק

  • ש-14.4 שניות ל-1.2 שניות חל על זרימת העבודה שלכם. זה דמו ספק אחד.
  • שהמודל יספר טוב. גוגל אומרת שהמודל מנסח עדכונים מחדש, והמילים המדויקות הן בחירתו.
  • שזה עובד מחוץ להתקנה המוצהרת. הדרישות ספציפיות ל-ADK 2.10+, סשן live ו-gemini-3.8-live.

שאלות נפוצות

למה סוכן קולי שותק במהלך קריאת כלי?

לפי גוגל, לולאת ה-live מחכה להחזרה היחידה של כלי סטנדרטי לפני יצירת תורות מודל נוספים.

מהו כלי streaming ב-ADK?

כלי async generator שמשתמש ב-yield. ADK מסמן אותו NON_BLOCKING ושולח עדכונים חלקיים שהמודל יכול לספר.

האם זה הופך את ה-backend שלי למהיר יותר?

לא. גוגל אומרת ששאילתה של 13 שניות עדיין לוקחת 13 שניות. רק החוויה השיחתית משתנה.

מה WHEN_IDLE עושה?

הוא מעביר את תוצאת הכלי בהפסקה הטבעית הבאה במקום לחתוך לתוך תור בתהליך.

האם קטיעת הסוכן מבטלת כלי רץ?

לא לפי המדריך. Barge-in עוצר אודיו, אבל כלים ממשיכים לרוץ ותוצאות מועברות. המודל חייב לקרוא ל-stop_streaming.

האם המודל יכול לקרוא לכלי streaming פעמיים?

גוגל אומרת שהוא עלול, ומציעה docstring של "Call this ONCE" ועוד מפתח idempotency או latch.

אילו גרסאות אני צריך?

המדריך מפרט google-adk >= 2.10.0 ו-gemini-3.8-live על Gemini Enterprise, עם סשני run_live.

מקורות

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS