agent-desktop 1.0 של Vercel Labs: Computer Use על עץ הנגישות, Refs של Snapshot וחוזה ה-Retry
agent-desktop של Vercel Labs הגיע ל-v1.0.0 ב-28 באוקטובר. קראתי את ה-README ותיעוד פלט ה-JSON כדי לראות איך הוא מחליף ניחוש פיקסלים ב-refs של עץ-נגישות, מה כללי ה-retry שלו אומרים, ואיפה תמיכת הפלטפורמות לא אחידה.
agent-desktop הוא CLI וספריית C ברישיון Apache-2.0 מ-Vercel Labs שנותן לסוכן לקרוא ולהפעיל אפליקציות דסקטופ דרך עץ הנגישות של מערכת ההפעלה במקום צילומי מסך. GitHub מראה v1.0.0 פורסם ב-28 באוקטובר 2026, ו-v1.0.2 ב-30 באוקטובר. המאגר עצמו נוצר ב-19 בפברואר, אז 1.0 הוא אבן דרך לפרויקט ישן יותר, לא חדש. החלק המעניין הוא החוזה שהוא נותן לסוכן: refs קשורים ל-snapshots, שגיאות שאומרות אם retry בטוח, ואזהרה מפורשת על תוכן דסקטופ פרטי.
קראתי את ה-README של המאגר ואת מסמך פלט ה-JSON, ובדקתי את הגרסאות ו-metadata של המאגר דרך GitHub API. לא התקנתי ולא הרצתי. ההתנהגות למטה היא מה שמסמכי הפרויקט אומרים.
מה זה עושה, לפי ה-README
- הוא נשלח כ-CLI וספריית C ל-macOS, Windows ו-Linux, מותקן עם
npm install -g agent-desktop, שכולל בינאריים נייטיב ל-x64 ו-ARM64. - snapshot מחזיר JSON עם ref לכל אלמנט שסוכן יכול לפעול עליו. הסוכן פועל על ref ומצלם snapshot שוב כדי לבדוק. ה-README אומר שהלולאה נשארת בסוכן שלכם, עם "no pixel matching".
- הוא מפרט 60 שמות פקודות, 56 מהן תפעוליות. ארבע (
key-down,key-up,mouse-down,mouse-up) "refuse to run until a daemon can release a held key or button". - קבוצות פקודות: observe, פעולה על ref, מקלדת ועכבר, אפליקציות וחלונות, התראות, clipboard, wait, סשנים ומערכת.
- פעולות ref הן "headless by default": הן עוברות דרך ה-API של הנגישות בלי להזיז את הסמן או לקחת פוקוס. דגל
--headedגלובלי מאפשר קלט פיזי.
Refs שייכים ל-snapshot שלהם
ה-quick start הוא שלוש פקודות: snapshot של אפליקציה עם אלמנטים אינטראקטיביים, קליק על ref, snapshot שוב. ה-README קובע את הכללים:
- ref מוגבל ל-snapshot שלו.
@e8חשוף נדחה עםINVALID_ARGS. - כשה-UI משתנה, פעולה מחזירה
STALE_REFאוAMBIGUOUS_TARGET, והסוכן צריך לקחת snapshot חדש. - כמה חלונות נותנים
AMBIGUOUS_TARGET, עם מזהי חלונות מועמדים בפרטי השגיאה. - לאפליקציות צפופות, מפו קודם עם snapshot שלד, ואז צללו לאזור אחד.
על macOS, ה-README אומר שקריאות CLI עושות שימוש חוזר ב-host פקודות פרטי ששומר אובייקטי נגישות נייטיב, כך ששורה שהוסרה לא יכולה להיפתר בשקט לשורה שורדת עם אותו מזהה. ה-host יוצא אחרי 15 דקות סרק.
חוזה ה-retry
זה פרט התכנון השימושי ביותר. מסמך פלט ה-JSON אומר שכל פקודה מחזירה מעטפת עם ok ועם data או error. שגיאה תמיד נושאת code, message ו-disposition. ה-disposition מתעד אם הפעולה נמסרה ואם retry הוא safe או unsafe. ה-README אומר לנסות שוב רק כש-error.disposition.retry הוא safe. בדוגמה של המסמך, קליק מוצלח מסומן delivered_unverified עם retry unsafe, ושגיאת STALE_REF היא not_delivered עם retry safe ועוד אסטרטגיית התאוששות של רענון ה-snapshot.
לבוני סוכנים זה חשוב כי retry עיוור של קליק או הודעה מוקלדת יכול לעשות את הפעולה פעמיים. הכלי אומר לסוכן באיזה מקרה הוא נמצא. המסמך גם אומר ש-snapshot שנגמר לו התקציב מחזיר תגובה מוצלחת אבל חלקית במפורש, עם complete מוגדר ל-false.
תמיכת הפלטפורמות לא אחידה
הטבלה של ה-README מראה את עץ הנגישות על שלוש המערכות, עם Linux דרך AT-SPI. הבדלים שהיא מפרטת:
- macOS צריך הרשאת Accessibility. משטחי shell מסומנים planned.
- Windows לא צריך הרשאה לאפליקציות ברמת היושרה של הטרמינל שלכם.
- Linux צריך את הסשן הגרפי של המשתמש עם
at-spi2-core. קלט עכבר הוא X11 עם--headed. צילומי מסך עובדים לחלונות X11 ודרך פורטל Wayland. התראות הן GNOME Shell בלבד. - חבילות Homebrew ו-Scoop מתוארות כ-"being submitted" ועוד לא זמינות בקטלוגי ברירת המחדל.
פרטיות והמסייע האופציונלי של המודל
ה-README מזהיר ש-snapshots, קריאות clipboard, צילומי מסך, פלט פקודות וארטיפקטים של debug יכולים להכיל תוכן דסקטופ פרטי וצריכים להישאר מחוץ ללוגים ולהעלאות ציבוריות. הוא גם אומר שמסייע JEV אופציונלי שולח תיאורי מסך לספק מודל מוגדר והוא נפרד מהליבה הנייטיב. לא קראתי את תיעוד המסייע.
מה הייתי בודק
אלה הצעות שלא בדקתי.
1. לצלם snapshot של שלוש האפליקציות שהסוכן שלכם נוגע בהן הכי הרבה ולראות כמה בקרים מקבלים ref שמיש.
2. לכפות stale ref בכוונה ולאשר שהסוכן שלכם עוקב אחרי שדה disposition.retry.
3. להחליט איפה snapshots וקריאות clipboard נרשמים בלוג, בהתחשב באזהרת הפרטיות.
4. להריץ פעולה headless ופעולת --headed על אפליקציה מוגנת-התחברות ולהשוות.
5. להשוות מול כלי מבוסס-צילום-מסך על אפליקציה צפופה אחת, עם קריטריוני המעבר שלכם.
מה לא הייתי מסיק
- שעצי נגישות מכסים כל אפליקציה. אפליקציות עם תמיכת נגישות חלשה עלולות לחשוף מעט, ולא בדקתי אף אחת.
- שזה מוצר Vercel עם התחייבות תמיכה. ה-README מתייג אותו "Vercel Labs Product" ולא מצאתי תנאי תמיכה במה שקראתי.
- שקליק שנמסר אומת. הדוגמה של המסמך עצמו היא "delivered_unverified".
- שהאקוסיסטם מיוצב. אותו עמוד אומר שהגשות למנהלי החבילות עדיין ממתינות.
שאלות נפוצות
מה זה agent-desktop?
CLI וספריית C שנותנים לסוכנים להפעיל אפליקציות דסקטופ דרך עץ הנגישות של מערכת ההפעלה, לפי ה-README.
באיזה רישיון הוא משתמש?
Apache-2.0, לפי metadata של מאגר GitHub.
אילו פלטפורמות הוא תומך?
macOS, Windows ו-Linux, עם יכולות שונות מפורטות בטבלה של ה-README.
האם הוא משתמש בצילומי מסך?
הוא יכול לצלם מסך, אבל הלולאה הראשית קוראת snapshots של נגישות ופועלת על refs, לפי ה-README.
איך הוא מטפל בפעולות כושלות?
שגיאות נושאות קוד ו-disposition שאומר אם retry בטוח, לפי מסמך פלט ה-JSON.
האם הוא בטוח לנתונים פרטיים?
ה-README מזהיר ש-snapshots ופלט קשור יכולים להכיל תוכן דסקטופ פרטי וצריכים להישמר מחוץ ללוגים ציבוריים.
הרצת את זה?
לא. קראתי את התיעוד ונתוני הגרסאות.
מקורות
כולם נקראו ב-1 בנובמבר 2026.
- vercel-labs/agent-desktop README
- JSON output contract
- GitHub repository metadata and releases (GitHub API)
לא נקרא: install.md, FAQ, CONCEPTS.md, קבצי ה-agent skills, תיעוד מסייע JEV, קוד המקור, וכיסוי עיתונאי של הגרסה.
קריאה נוספת
- Computer Use ב-Gemini API זמין באופן כללי: Intents, החלטות בטיחות, ולולאת הלקוח שאתם עדיין בונים
ה-changelog של Gemini API מפרט את Computer Use כזמין באופן כללי ב-30 באוקטובר. קראתי את עמוד התיעוד כדי להפריד מה ה-API עושה (מציע פעולות UI עם intent והחלטת בטיחות) ממה שאתם עדיין צריכים לבנות ולאבטח.
- Self-hosted Claude Managed Agents: שירות הסוכנים של Anthropic רץ עכשיו על התשתית שלך
Anthropic פתחה את self-hosted Claude Managed Agents בבטא פרטית: אתה מארח את שירות הסוכנים, את מסד הנתונים ואת ארגזי החול, וקריאות המודל הולכות ל-Claude API או לספק שאתה בוחר. מה רץ איפה, אילו הרשאות קיימות, מה עדיין יוצא מהרשת שלך, ומה כדאי לבדוק לפני שמתחייבים.
- המדריך של Anthropic לסוכני always-on: חמישה פרימיטיבים מאחורי סוכנים שלא יושבים בחינם
Anthropic פרסמה מדריך לבניית סוכני always-on: סוכנים שומרי-מצב ופרואקטיביים שמנהלים קונטקסט בין סשנים. הרעיון המרכזי הוא שהסוכן לא באמת רץ כל הזמן - הוא ישן בין ריצות, וחמישה פרימיטיבים ארכיטקטוניים מחליטים מתי הוא מתעורר, מה הוא זוכר, ומה מגיע אליך.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS