הרשאות של סוכני AI צריכות Runtime, לא פרומפט טוב יותר
OpenShell ו-Sentry של NVIDIA שמים הרשאות סוכן מחוץ למודל. מה מחסן הבטיחות החדש יכול לאכוף, מה עדיין לא הוכח, ואיך לבדוק אותו.
הרשאות של סוכני AI צריכות אכיפה מחוץ למודל. system prompt יכול להגיד לסוכן לא לכתוב ל-GitHub, אבל הוא לא יכול לעצור כלי, פקודת shell, או נתיב credential אחר מלעשות את זה. runtime יכול לחסום את הנתיבים האלה לפני שהבקשה מגיעה לשירות. Open Agent Safety Platform שהוכרזה לאחרונה על ידי NVIDIA שווה מעקב בדיוק מהסיבה הזו, אם כי שכבות התוכנה והחומרה שלה הן לא אותו דבר ולא באותו שלב זמינות.
ההכרזה עברה בתיבה שלי היום. כותרת הניוזלטר הבטיחה שבב שעוצר סוכנים פורעים. זה סוג המשפט שאני לא רוצה לחזור עליו בלי לפתוח את התיעוד הטכני. הסיפור השימושי יותר הוא פיצול עיצובי: מה בונה יכול לאכוף בתוכנה היום, ואיזה גבול נוסף חומרה ייעודית מבטיחה?
מה NVIDIA באמת שחררה?
NVIDIA מתארת את Open Agent Safety Platform כארכיטקטורת ייחוס עם שתי שכבות:
| שכבה | איפה היא רצה | מה היא עושה |
|---|---|---|
| OpenShell 0.1.0 | Runtime תוכנה סביב סוכן | מכיל את עומס העבודה ב-sandbox, שולט בגישה לקבצים, תהליכים, רשתות ושירותים, ובודק בקשות מול מדיניות. קוד פתוח וזמין עכשיו. |
| Sentry עם BlueField-4 | יחידת עיבוד נתונים נפרדת בתשתית הייחוס של NVIDIA | מוסיפה ניטור ואכיפת מדיניות מחוץ לערוץ, מחוץ למארח של הסוכן. זו שכבת תשתית נוספת, לא תנאי קדם ל-OpenShell. |
שאלות המוצר הנפוצות של NVIDIA אומרות במפורש ש-OpenShell יכול לרוץ בלי BlueField-4 על מערכות מקומיות, ענן, on-premises ו-Kubernetes נתמכות. אל תקראו "פלטפורמה פתוחה" כ"כלב השמירה החומרתי על השרת הקיים שלכם". תיעוד הפלטפורמה מציג את עיצוב BlueField-4 כבחירת פריסה נפרדת; החומרים שבחנתי לא נותנים מחיר Sentry או תאריך שחרור לכל סביבה.
המסקנה המעשית היא להעריך את ה-runtime התוכנתי על סמך היתרונות שלו. בידוד חומרה הוא דיון שני, במיוחד אם אתם לא מפעילים AI factory של NVIDIA.
למה system prompt לא מספיק כדי להגביל סוכן?
הוראה היא משהו שהמודל מפרש. הרשאה היא משהו שהמערכת שמסביב אוכפת. אם למודל יש shell ו-credential שיכולים לכתוב למאגר, "קריאה בלבד" בפרומפט הוא לא גבול אבטחה.
ההבדל הזה נהיה חד כשסוכן יכול לכתוב ולהריץ קוד. חסימת כלי GitHub אחד בשם עדיין יכולה להשאיר בקשת רשת מקוד שנוצר. חסימת endpoint אחד עדיין יכולה להשאיר שירות אחר עם אותו credential. הסיור הטכני של OpenShell של NVIDIA מבהיר את הנקודה הזו עם מאגר מוגן: מדיניות יכולה להיראות מגבילה בזמן שנתיב אחר נשאר פתוח.
הסוכן לא צריך לקבל את ההחלטה אם בקשה נופלת בתוך הסמכות שלו. שימו את ההחלטה על הנתיב החוצה מה-sandbox, בגבול מערכת הקבצים, ובשירות שמקבל את הפעולה. validator שבודק את התשובה אחר כך הוא שימושי, אבל הוא לא יכול לבטל שליחה, מחיקה או כתיבה חיצונית.
איך OpenShell אוכף מדיניות?
תיעוד OpenShell והסיור של NVIDIA מתארים שלושה חלקים: gateway מנהל מחזורי חיים ומדיניות של sandboxes; sandbox מריץ את הסוכן תחת הגבלות מערכת קבצים ותהליכים ברמת הקרנל; ו-supervisor מחוץ לאותו עומס עבודה בודק בקשות יוצאות. נתיב הרשת של ה-sandbox עובר דרך ה-supervisor.
המיקום הזה משנה. מדיניות יכולה להרשות שירות תוך צמצום הפעולות שהסוכן יכול לבצע מולו. Credentials יכולים להישאר מחוץ לעומס העבודה של הסוכן ולהיות קשורים לבקשות מאושרות במקום להימסר למודל כטקסט או משתני סביבה שהוא יכול לבחון. מוכיח המדיניות בודק הרשאות מומדלות מול גבול שהוגדר על ידי מפעיל ויכול לזהות נתיב שחוצה אותו.
"מומדלות" היא המילה החשובה. הוכחה על מודל מדיניות היא לא הוכחה שכל אינטגרציה פרוסה, סשן דפדפן, ערוץ צדדי, או זרימת עבודה אנושית בטוחים. עדיין צריך לבחון את הכלים והסודות בפועל שמחוברים לעומס העבודה ולבדוק את מקרי השלילה. ניתוח פורמלי מצמצם מחלקה של שגיאות הרשאה; הוא לא מחליף סקירה תפעולית.
מה משתנה כשכלב השמירה מחוץ למארח?
ה-supervisor של OpenShell כבר מחוץ לתהליך הסוכן. Sentry הולך רחוק יותר בעיצוב הייחוס של NVIDIA: הוא משתמש ביחידת עיבוד נתונים BlueField-4 וב-NVIDIA DOCA כדי לנטר ולאכוף מדומיין מבודד חומרתית. NVIDIA אומרת ש-Vera Rubin POD שם את ה-DPU על הנתיב למודל, כך שנקודת האכיפה יכולה לראות תעבורה ולהישאר נפרדת ממארח שנפגע.
פוסט הארכיטקטורה הטכנית מתאר מתאם של החלטות מדיניות, גישת כלים ואינטראקציות סוכן, עם בדיקות זהות וטלמטריה. הדיווח של SecurityWeek מבחין בין התוכנה הזמינה לכל של OpenShell לבין Sentry כשכבה אופציונלית מגובת חומרה.
זה הפרדה מבטיחה, לא ראיה שכל התקפות הסוכן נעלמות. האם כלב שמירה תופס פעולה גרועה תלוי באיזה נתיב הוא באמת שולט, המדיניות שניתנה לו, הטלמטריה הזמינה, ומה נחשב הפרה. הוראה זדונית שאושרה לא נהיית בטוחה רק כי DPU אוכף אותה נאמנה. ותשתית גם לא יכולה להסיק את כוונת המשתמש החברתית מזרימת פקטות בלבד.
איך הייתי בודק גבול הרשאות של סוכן?
התחילו עם פעולה שמשנה: קריאת קובץ פרטי, שינוי מאגר, שליחת הודעה, או העברת נתונים למארח לא מאושר. ואז כתבו מטריצה קטנה לפני שהסוכן רץ:
1. נתיב מורשה: השירות המדויק, הפעולה, המשאב והזהות שצריכים לעבוד.
2. נתיב אח נדחה: אותו שירות עם פעולת כתיבה, או משאב דומה-במראה שלא צריך לעבוד.
3. נתיב חלופי: פקודת shell, סשן דפדפן, endpoint מופנה, או כלי אחר שמגיע לאותו יעד.
4. נתיב credential: ודאו שהסוכן לא יכול לקרוא או לייצא את הטוקן שבו משתמש השירות המאושר.
5. נתיב הסלמה: אם חסרה גישה, ודאו שהסוכן יכול לבקש אישור אבל לא יכול לאשר את הבקשה של עצמו.
6. ביקורת: בדקו שהחלטת המדיניות גלויה, משויכת לעומס העבודה הנכון, וניתנת לסקירה אחרי ההרצה.
אל תריצו את בדיקת הנתיב הנדחה מול נתוני ייצור בעלי ערך. השתמשו במאגר זמני או חשבון בדיקה ובפעולה תמימה בכוונה שמוכיחה את הגבול. המטרה היא לראות את הבקשה נדחית לפני תופעת לוואי, לא לגלות דליפת הרשאות על ידי פגיעה במשהו אמיתי.
בדיקת prompt injection שייכת גם לסוויטה הזו: הזינו לסוכן מסמך או עמוד שמבקש ממנו לחצות את הגבול. התוצאה הנכונה היא לא סירוב מלוטש בלבד. הפעולה החיצונית חייבת להישאר חסומה גם אם המודל מנסה אותה.
איפה זה מתאים לצד evals וניטור?
הבקרות האלה עונות על שאלות שונות. Evals שואלים אם סוכן בדרך כלל מקבל החלטות טובות על מקרים מייצגים. ניטור שואל אם ההתנהגות נסחפת או נכשלת בתפעול. אכיפת runtime שואלת אם פעולה מסוימת מורשית לצאת מהתהליך עכשיו.
צריך את שלושתם כשההשלכות אמיתיות. סוכן יכול לעבור בנצ'מרק ועדיין לקחת נתיב לא מורשה. ניטור יכול להתריע אחרי טעות ועדיין להיות מאוחר מדי. runtime יכול לאכוף נכון מדיניות שנכתבה רחב מדי. אף אחד מהכלים האלה לא יכול להגיד לכם, בפני עצמו, מה המשתמש רצה.
לצוות קטן, הסדר מעשי: הגבילו כלים ו-credentials קודם; עשו את הנתיב המורשה מפורש; בדקו עקיפות; הוסיפו לוגים ובדיקות; ורק אז החליטו אם sandbox מנוהל כמו OpenShell משפר על מה שיש לכם. אל תקנו ארכיטקטורת חומרה כי ניוזלטר גרם לה להישמע כמו כפתור עצירה קסום. אבל אל תסמכו על פרומפט במקום שבו בדיקת הרשאות אמיתית צריכה לשבת.
מקורות
- NVIDIA, ארכיטקטורה טכנית של Open Agent Safety Platform (28 בספטמבר 2026): עיצוב ייחוס תוכנה/חומרה ושכבות מדיניות.
- NVIDIA, סיור runtime של OpenShell 0.1.0 (28 בספטמבר 2026): gateway, supervisor, sandbox, בקרות credential ומדיניות.
- NVIDIA, סקירת OpenShell: תיעוד ה-runtime.
- NVIDIA, שאלות נפוצות על Open Agent Safety Platform: BlueField-4 לא נדרש ל-OpenShell.
- SecurityWeek, "Nvidia Unveils AI Agent Safety Platform With Hardware-Based Watchdog": תיאור עצמאי של הזמינות ושכבת החומרה האופציונלית.
שאלות נפוצות
האם NVIDIA OpenShell זמין עכשיו?
NVIDIA מתארת את OpenShell 0.1.0 כתוכנת קוד פתוח זמינה עכשיו. ודאו את מטריצת התמיכה ותכונות המדיניות העדכניות שלו מול תיעוד הפרויקט לפני פריסה; עיצוב ה-Sentry מגובה החומרה הוא שיקול נפרד.
האם אני צריך שבב BlueField-4 כדי להשתמש ב-OpenShell?
לא. NVIDIA אומרת ש-OpenShell תומך בתשתיות מקומיות, on-premises, ענן ו-Kubernetes אחרות. BlueField-4 עם Sentry מוסיף שכבת ניטור ואכיפה מבודדת חומרתית בהקמות נתמכות.
האם sandbox יכול לעצור prompt injection?
הוא יכול להגביל את הפעולות שהוראה מוזרקת גורמת לסוכן לנסות, אם הנתיב הרלוונטי מכוסה על ידי מדיניות. הוא לא הופך את הטקסט למהימן, מסיק את כוונת המשתמש האמיתי, או מבטיח שכל תופעת לוואי חסומה. בדקו נתיבים חלופיים.
האם מוכיח מדיניות הוא ערובה שהסוכן שלי בטוח?
לא. הוא בודק הרשאות שמיוצגות במודל שלו מול גבול. כלי שהושמט, credential, נתיב אישור אנושי, או גבול מוגדר גרוע עדיין יכולים להשאיר בעיה. בדקו את זרימת העבודה הפרוסה בפועל.
מה ההבדל בין ניטור לאכיפת runtime?
ניטור מזהה ומדווח על התנהגות; אכיפת runtime מרשה או דוחה פעולה בגבול. התרעה בדיעבד לא יכולה להפוך הודעה או העברת נתונים. שניהם שימושיים, אבל הם פותרים רגעים שונים של הבעיה.
מה לנסות קודם בפרויקט סוכן קטן?
השתמשו ב-credentials בעלי היקף צר, הפרידו הרשאות קריאה מכתיבה, הגדירו רשימת היתר מפורשת לכלים ויעדים, ובדקו פעולה נדחית בסביבה זמנית. הוסיפו sandbox כשהגישה וההשלכות של זרימת העבודה מצדיקות את השכבה הנוספת.
קריאה נוספת
- NVIDIA NemoClaw Open Blueprints: מה הבלוג אומר, מה המאגר והתיעוד אומרים, ומה לבדוק לפני שמריצים
הפוסט של NVIDIA מ-30 באוקטובר מציג את NemoClaw כ-blueprints פתוחים שעוטפים OpenClaw, Hermes Agent או LangChain Deep Agents עם Nemotron, כלי NeMo וה-runtime של OpenShell. קראתי את ה-README של המאגר, תיעוד הארכיטקטורה וה-blueprint manifest כדי לראות איך החלקים מתחברים וכמה בוגרים הם מצהירים שהם.
- Grok Bot 1.0 ועדכון ה-11 בנובמבר: העמיתים של xAI מקבלים פגישות, Teams ושכבת ניהול
xAI השיקה את Grok Bot 1.0 ב-2 בנובמבר עם Team Bots לשיתוף, איסוף עבודה יזום ושימוש מהיר יותר בדפדפן, ואז שיגרה ב-11 בנובמבר עדכון שמוסיף פגישות Google Meet, Zoom ו-Microsoft Teams, קונקטורים משותפים ותור אישורים Review learnings. מה שוגר, איך מודל ההרשאות עובד, ומה לבדוק לפני שמפיצים לצוות.
- MemHarmBench: מה benchmark חדש ב-arXiv אומר על Prompt Injection ששורד בזיכרון של סוכנים
מאמר arXiv מ-1 בנובמבר בודק אם הוראות שנטענות בתוכן חיצוני נשמרות בזיכרון סוכנים ומכווינות סשנים מאוחרים יותר אחרי שהמקור נמחק. קראתי את התכנון, הטבלאות והמגבלות של המאמר, ומסכם מה הוא מדד ומה לא.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS