Computer Use ב-Gemini API זמין באופן כללי: Intents, החלטות בטיחות, ולולאת הלקוח שאתם עדיין בונים
ה-changelog של Gemini API מפרט את Computer Use כזמין באופן כללי ב-30 באוקטובר. קראתי את עמוד התיעוד כדי להפריד מה ה-API עושה (מציע פעולות UI עם intent והחלטת בטיחות) ממה שאתם עדיין צריכים לבנות ולאבטח.
ב-30 באוקטובר 2026 ערות הגרסה של Gemini API מפרטות: "Computer Use generally available (GA): Released the Computer Use tool to general availability (GA) across the Interactions and GenerateContent APIs." עמוד התיעוד מסביר מה זה אומר בפועל. המודל לא שולט במחשב. הוא מסתכל על צילום מסך שאתם שולחים ומחזיר פעולת UI מוצעת, והקוד שלכם צריך להריץ אותה, לבדוק אותה ולשלוח בחזרה את צילום המסך הבא.
קראתי את עמוד התיעוד של Computer Use ואת ה-changelog של Gemini API. לא הרצתי קוד ולא בדקתי את הכלי. כל מה שלמטה הוא מה שהמסמכים של גוגל אומרים.
מה התיעוד אומר שזה
העמוד מתאר כלי לבניית סוכני שליטה בדפדפן, מובייל ודסקטופ. באמצעות צילומי מסך, המודל יכול "לראות" מסך ו"לפעול" על ידי יצירת פעולות UI כמו קליקים של עכבר וקלט מקלדת. כמו function calling, אתם מיישמים את סביבת ההרצה בצד הלקוח שמקבלת ומריצה את הפעולות.
למודלי Gemini 4 ו-Gemini 3.x, העמוד מפרט את היכולות האלה:
- תמיכה רב-סביבתית בדפדפן, מובייל ודסקטופ.
- פעולות שכוללות שדה
intentשמסביר את הנימוק של המודל לכל צעד. - מדיניות בטיחות ניתנת לקונפיגורציה עם קטגוריות מובנות ועקיפות.
- זיהוי prompt injection אופציונלי שסורק צילומי מסך אחר הוראות עוינות נסתרות.
קריאה מינימלית בתיעוד מעבירה כלי עם טיפוס computer_use וסביבה, למשל browser, ל-Interactions API. אפשרות ה-prompt-injection היא דגל על הכלי הזה, enable_prompt_injection_detection. הדוגמאות משתמשות במחרוזת המודל gemini-3.8-flash, והמדריך ב-Python אומר להשתמש ב-google-genai SDK גרסה 2.7.0 ומעלה.
הלולאה שאתם בונים
התיעוד מתאר ארבעה צעדים, שחוזרים עד שהמשימה מסתיימת:
1. האפליקציה שלכם שולחת את הבקשה עם הכלי, ההגדרות שלכם, הפרומפט וצילום מסך.
2. המודל מחזיר function_call מוצע לפעולת UI, עם intent על Gemini 4 ו-3.x. התגובה עשויה גם לכלול safety_decision שמסווגת את הפעולה כרגילה או מורשית, require_confirmation (צריך אישור משתמש) או חסומה.
3. אם הפעולה מורשית, או שהמשתמש מאשר, הקוד שלכם מפענח אותה, מכוונן את הקואורדינטות ומריץ אותה עם משהו כמו Playwright. אם היא חסומה, הלקוח שלכם צריך לעצור או לטפל בהפרעה.
4. האפליקציה שלכם לוכדת צילום מסך חדש ושולחת אותו בחזרה ב-function_result.
הקואורדינטות מנורמלות ל-0 עד 999 על כל ציר בטבלאות הפעולות, והעמוד אומר שהמודל חוזה מיקומים מכווננים למסך, אז אתם לא מציינים גודל תצוגה בבקשה. הקוד שלכם ממיר אותן לפיקסלים אמיתיים.
פעולות לפי סביבה
העמוד מפרט את הפעולות לכל סביבה.
- דפדפן: וריאנטים של קליק, move, הקלדה, drag and drop, wait, לחיצות מקשים, hotkey, צילום מסך, גלילה, back, forward ו-
navigateל-URL. - מובייל:
open_app,list_apps, קליק, הקלדה, drag and drop,long_press, wait, back, לחיצת מקש וצילום מסך. - דסקטופ: פקודות סמן ברמת מערכת ההפעלה: וריאנטים של קליק, move, הקלדה, drag and drop, wait, לחיצות מקשים, hotkey, צילום מסך וגלילה.
אפשר גם להדר פעולות מוגדרות מראש ולהוסיף פונקציות משלכם. התיעוד מראה דוגמת human-in-the-loop שמסירה את click ורושמת פונקציית yield_to_user מותאמת אישית כדי שהמודל יכול להחזיר שליטה, למשל כשצריך קוד אימות שני.
מה גוגל אומרת לכם לעשות לגבי סיכון
העמוד נושא אזהרה ישירה: Computer Use "may contain errors and security vulnerabilities". הוא ממליץ על פיקוח הדוק למשימות חשובות ואומר להימנע ממנו להחלטות קריטיות, נתונים רגישים, או פעולות שבהן שגיאות חמורות לא ניתנות לתיקון. הוא גם אומר לכם להריץ את הסוכן ב-VM או container עם sandbox כדי לבודד אותו מה-host שלכם, ומזכיר מימוש ייחוס עם sandbox מבוסס Docker. בקוד ההתקנה של Playwright, הערה אומרת להשתמש בסביבת sandbox ב-production.
מה ה-changelog מוסיף
לאותו changelog יש ערכי Computer Use מוקדמים יותר. אחד אומר ש-public preview ל-Gemini 3.5 Flash כלל פעולות מפושטות עם intents, תמיכה מובנית בסביבות דפדפן, מובייל ודסקטופ, מדיניות בטיחות ניתנת לקונפיגורציה וזיהוי prompt injection מתקדם. ערך אחר אומר ש-gemini-3.5-flash הוצא משימוש ובקשות מנותבות ל-gemini-3.6-flash. בדקו את מחרוזות המודל הנוכחיות בתיעוד לפני העתקת דוגמה, כי העמוד שקראתי השתמש בשם מודל שונה מהערכים האלה.
מה הייתי בודק
אלה הצעות שלא בדקתי.
1. להדליק זיהוי prompt injection בבדיקה ולהאכיל אותו בעמוד עם טקסט נסתר, ואז לראות מה חוזר.
2. לרשום בלוג כל safety_decision ולוודא ש-require_confirmation מגיע לאדם, לא לברירת מחדל של כן.
3. להריץ את הלולאה רק ב-container זמני בלי credentials אמיתיים.
4. לתעד את שדה intent לצד כל פעולה כדי שסוקר יכול להשוות את הסיבה המוצהרת למה שקרה.
5. להגדיר מגבלת צעדים ומגבלת זמן על הלולאה בקוד שלכם.
6. לאמת את רשימת המודלים הנתמכת הנוכחית לפני בחירת מחרוזת מודל.
מה לא הייתי מסיק
- ש-GA אומר שהכלי בטוח לעבודה רגישה. עמוד התיעוד עדיין מזהיר מפניו להחלטות קריטיות ונתונים רגישים.
- ששדה ה-intent מוכיח למה המודל פעל. התיעוד קורא לו הסבר של נימוק. לא בדקתי כמה הוא אמין.
- שהמודל מריץ פעולות. הלקוח שלכם מריץ.
- שזיהוי prompt injection תופס הכל. הוא מתועד כסריקת צילומי-מסך opt-in, ואין לי מספרי זיהוי.
שאלות נפוצות
מתי Computer Use הפך לזמין באופן כללי?
ה-changelog של Gemini API מפרט את זה תחת 30 באוקטובר 2026, על פני Interactions ו-GenerateContent APIs.
אילו סביבות הוא תומך?
דפדפן, מובייל ודסקטופ, לפי עמוד התיעוד.
האם Gemini מריץ את הפעולות?
לא. המודל מציע function call וקוד צד-הלקוח שלכם מריץ אותו.
מהי החלטת הבטיחות?
שדה שהתגובה עשויה לכלול שמסמן את הפעולה כמורשית, דורשת אישור, או חסומה.
מהו שדה ה-intent?
הסבר קצר למה המודל בחר כל צעד, על מודלי Gemini 4 ו-3.x.
איך מזהים prompt injection?
התיעוד מתאר דגל opt-in, enable_prompt_injection_detection, שסורק צילומי מסך אחר הוראות עוינות נסתרות.
בדקת את זה?
לא. קראתי את עמוד התיעוד ואת ה-changelog.
מקורות
כולם נקראו ב-1 בנובמבר 2026.
לא נקרא: עמוד שיטות העבודה המומלצות לבטיחות, עמוד גרסאות המודל, עמוד ה-computer use של Vertex ו-Enterprise Agent Platform, תמחור, ומימוש הייחוס.
קריאה נוספת
- agent-desktop 1.0 של Vercel Labs: Computer Use על עץ הנגישות, Refs של Snapshot וחוזה ה-Retry
agent-desktop של Vercel Labs הגיע ל-v1.0.0 ב-28 באוקטובר. קראתי את ה-README ותיעוד פלט ה-JSON כדי לראות איך הוא מחליף ניחוש פיקסלים ב-refs של עץ-נגישות, מה כללי ה-retry שלו אומרים, ואיפה תמיכת הפלטפורמות לא אחידה.
- Gemini API CLI: מה ה-README של גוגל אומר על לתת לסוכן הקידוד שלכם Gemini וסוכנים מנוהלים
ה-CLI הניסיוני gemini-api של גוגל נותן ל-Codex, Claude Code או כל סוכן shell לקרוא למודלי Gemini, יצירת מדיה וסוכנים מנוהלים ברקע. מה ה-README אומר, מה הוא משמיט, ומה לבדוק קודם.
- Self-hosted Claude Managed Agents: שירות הסוכנים של Anthropic רץ עכשיו על התשתית שלך
Anthropic פתחה את self-hosted Claude Managed Agents בבטא פרטית: אתה מארח את שירות הסוכנים, את מסד הנתונים ואת ארגזי החול, וקריאות המודל הולכות ל-Claude API או לספק שאתה בוחר. מה רץ איפה, אילו הרשאות קיימות, מה עדיין יוצא מהרשת שלך, ומה כדאי לבדוק לפני שמתחייבים.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS