דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-09-28·8 דק׳

הרשאות של סוכני AI צריכות Runtime, לא פרומפט טוב יותר

OpenShell ו-Sentry של NVIDIA שמים הרשאות סוכן מחוץ למודל. מה מחסן הבטיחות החדש יכול לאכוף, מה עדיין לא הוכח, ואיך לבדוק אותו.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

הרשאות של סוכני AI צריכות אכיפה מחוץ למודל. system prompt יכול להגיד לסוכן לא לכתוב ל-GitHub, אבל הוא לא יכול לעצור כלי, פקודת shell, או נתיב credential אחר מלעשות את זה. runtime יכול לחסום את הנתיבים האלה לפני שהבקשה מגיעה לשירות. Open Agent Safety Platform שהוכרזה לאחרונה על ידי NVIDIA שווה מעקב בדיוק מהסיבה הזו, אם כי שכבות התוכנה והחומרה שלה הן לא אותו דבר ולא באותו שלב זמינות.

ההכרזה עברה בתיבה שלי היום. כותרת הניוזלטר הבטיחה שבב שעוצר סוכנים פורעים. זה סוג המשפט שאני לא רוצה לחזור עליו בלי לפתוח את התיעוד הטכני. הסיפור השימושי יותר הוא פיצול עיצובי: מה בונה יכול לאכוף בתוכנה היום, ואיזה גבול נוסף חומרה ייעודית מבטיחה?

מה NVIDIA באמת שחררה?

NVIDIA מתארת את Open Agent Safety Platform כארכיטקטורת ייחוס עם שתי שכבות:

שכבהאיפה היא רצהמה היא עושה
OpenShell 0.1.0Runtime תוכנה סביב סוכןמכיל את עומס העבודה ב-sandbox, שולט בגישה לקבצים, תהליכים, רשתות ושירותים, ובודק בקשות מול מדיניות. קוד פתוח וזמין עכשיו.
Sentry עם BlueField-4יחידת עיבוד נתונים נפרדת בתשתית הייחוס של NVIDIAמוסיפה ניטור ואכיפת מדיניות מחוץ לערוץ, מחוץ למארח של הסוכן. זו שכבת תשתית נוספת, לא תנאי קדם ל-OpenShell.

שאלות המוצר הנפוצות של NVIDIA אומרות במפורש ש-OpenShell יכול לרוץ בלי BlueField-4 על מערכות מקומיות, ענן, on-premises ו-Kubernetes נתמכות. אל תקראו "פלטפורמה פתוחה" כ"כלב השמירה החומרתי על השרת הקיים שלכם". תיעוד הפלטפורמה מציג את עיצוב BlueField-4 כבחירת פריסה נפרדת; החומרים שבחנתי לא נותנים מחיר Sentry או תאריך שחרור לכל סביבה.

המסקנה המעשית היא להעריך את ה-runtime התוכנתי על סמך היתרונות שלו. בידוד חומרה הוא דיון שני, במיוחד אם אתם לא מפעילים AI factory של NVIDIA.

למה system prompt לא מספיק כדי להגביל סוכן?

הוראה היא משהו שהמודל מפרש. הרשאה היא משהו שהמערכת שמסביב אוכפת. אם למודל יש shell ו-credential שיכולים לכתוב למאגר, "קריאה בלבד" בפרומפט הוא לא גבול אבטחה.

ההבדל הזה נהיה חד כשסוכן יכול לכתוב ולהריץ קוד. חסימת כלי GitHub אחד בשם עדיין יכולה להשאיר בקשת רשת מקוד שנוצר. חסימת endpoint אחד עדיין יכולה להשאיר שירות אחר עם אותו credential. הסיור הטכני של OpenShell של NVIDIA מבהיר את הנקודה הזו עם מאגר מוגן: מדיניות יכולה להיראות מגבילה בזמן שנתיב אחר נשאר פתוח.

הסוכן לא צריך לקבל את ההחלטה אם בקשה נופלת בתוך הסמכות שלו. שימו את ההחלטה על הנתיב החוצה מה-sandbox, בגבול מערכת הקבצים, ובשירות שמקבל את הפעולה. validator שבודק את התשובה אחר כך הוא שימושי, אבל הוא לא יכול לבטל שליחה, מחיקה או כתיבה חיצונית.

איך OpenShell אוכף מדיניות?

תיעוד OpenShell והסיור של NVIDIA מתארים שלושה חלקים: gateway מנהל מחזורי חיים ומדיניות של sandboxes; sandbox מריץ את הסוכן תחת הגבלות מערכת קבצים ותהליכים ברמת הקרנל; ו-supervisor מחוץ לאותו עומס עבודה בודק בקשות יוצאות. נתיב הרשת של ה-sandbox עובר דרך ה-supervisor.

המיקום הזה משנה. מדיניות יכולה להרשות שירות תוך צמצום הפעולות שהסוכן יכול לבצע מולו. Credentials יכולים להישאר מחוץ לעומס העבודה של הסוכן ולהיות קשורים לבקשות מאושרות במקום להימסר למודל כטקסט או משתני סביבה שהוא יכול לבחון. מוכיח המדיניות בודק הרשאות מומדלות מול גבול שהוגדר על ידי מפעיל ויכול לזהות נתיב שחוצה אותו.

"מומדלות" היא המילה החשובה. הוכחה על מודל מדיניות היא לא הוכחה שכל אינטגרציה פרוסה, סשן דפדפן, ערוץ צדדי, או זרימת עבודה אנושית בטוחים. עדיין צריך לבחון את הכלים והסודות בפועל שמחוברים לעומס העבודה ולבדוק את מקרי השלילה. ניתוח פורמלי מצמצם מחלקה של שגיאות הרשאה; הוא לא מחליף סקירה תפעולית.

מה משתנה כשכלב השמירה מחוץ למארח?

ה-supervisor של OpenShell כבר מחוץ לתהליך הסוכן. Sentry הולך רחוק יותר בעיצוב הייחוס של NVIDIA: הוא משתמש ביחידת עיבוד נתונים BlueField-4 וב-NVIDIA DOCA כדי לנטר ולאכוף מדומיין מבודד חומרתית. NVIDIA אומרת ש-Vera Rubin POD שם את ה-DPU על הנתיב למודל, כך שנקודת האכיפה יכולה לראות תעבורה ולהישאר נפרדת ממארח שנפגע.

פוסט הארכיטקטורה הטכנית מתאר מתאם של החלטות מדיניות, גישת כלים ואינטראקציות סוכן, עם בדיקות זהות וטלמטריה. הדיווח של SecurityWeek מבחין בין התוכנה הזמינה לכל של OpenShell לבין Sentry כשכבה אופציונלית מגובת חומרה.

זה הפרדה מבטיחה, לא ראיה שכל התקפות הסוכן נעלמות. האם כלב שמירה תופס פעולה גרועה תלוי באיזה נתיב הוא באמת שולט, המדיניות שניתנה לו, הטלמטריה הזמינה, ומה נחשב הפרה. הוראה זדונית שאושרה לא נהיית בטוחה רק כי DPU אוכף אותה נאמנה. ותשתית גם לא יכולה להסיק את כוונת המשתמש החברתית מזרימת פקטות בלבד.

איך הייתי בודק גבול הרשאות של סוכן?

התחילו עם פעולה שמשנה: קריאת קובץ פרטי, שינוי מאגר, שליחת הודעה, או העברת נתונים למארח לא מאושר. ואז כתבו מטריצה קטנה לפני שהסוכן רץ:

1. נתיב מורשה: השירות המדויק, הפעולה, המשאב והזהות שצריכים לעבוד.

2. נתיב אח נדחה: אותו שירות עם פעולת כתיבה, או משאב דומה-במראה שלא צריך לעבוד.

3. נתיב חלופי: פקודת shell, סשן דפדפן, endpoint מופנה, או כלי אחר שמגיע לאותו יעד.

4. נתיב credential: ודאו שהסוכן לא יכול לקרוא או לייצא את הטוקן שבו משתמש השירות המאושר.

5. נתיב הסלמה: אם חסרה גישה, ודאו שהסוכן יכול לבקש אישור אבל לא יכול לאשר את הבקשה של עצמו.

6. ביקורת: בדקו שהחלטת המדיניות גלויה, משויכת לעומס העבודה הנכון, וניתנת לסקירה אחרי ההרצה.

אל תריצו את בדיקת הנתיב הנדחה מול נתוני ייצור בעלי ערך. השתמשו במאגר זמני או חשבון בדיקה ובפעולה תמימה בכוונה שמוכיחה את הגבול. המטרה היא לראות את הבקשה נדחית לפני תופעת לוואי, לא לגלות דליפת הרשאות על ידי פגיעה במשהו אמיתי.

בדיקת prompt injection שייכת גם לסוויטה הזו: הזינו לסוכן מסמך או עמוד שמבקש ממנו לחצות את הגבול. התוצאה הנכונה היא לא סירוב מלוטש בלבד. הפעולה החיצונית חייבת להישאר חסומה גם אם המודל מנסה אותה.

איפה זה מתאים לצד evals וניטור?

הבקרות האלה עונות על שאלות שונות. Evals שואלים אם סוכן בדרך כלל מקבל החלטות טובות על מקרים מייצגים. ניטור שואל אם ההתנהגות נסחפת או נכשלת בתפעול. אכיפת runtime שואלת אם פעולה מסוימת מורשית לצאת מהתהליך עכשיו.

צריך את שלושתם כשההשלכות אמיתיות. סוכן יכול לעבור בנצ'מרק ועדיין לקחת נתיב לא מורשה. ניטור יכול להתריע אחרי טעות ועדיין להיות מאוחר מדי. runtime יכול לאכוף נכון מדיניות שנכתבה רחב מדי. אף אחד מהכלים האלה לא יכול להגיד לכם, בפני עצמו, מה המשתמש רצה.

לצוות קטן, הסדר מעשי: הגבילו כלים ו-credentials קודם; עשו את הנתיב המורשה מפורש; בדקו עקיפות; הוסיפו לוגים ובדיקות; ורק אז החליטו אם sandbox מנוהל כמו OpenShell משפר על מה שיש לכם. אל תקנו ארכיטקטורת חומרה כי ניוזלטר גרם לה להישמע כמו כפתור עצירה קסום. אבל אל תסמכו על פרומפט במקום שבו בדיקת הרשאות אמיתית צריכה לשבת.

מקורות

שאלות נפוצות

האם NVIDIA OpenShell זמין עכשיו?

NVIDIA מתארת את OpenShell 0.1.0 כתוכנת קוד פתוח זמינה עכשיו. ודאו את מטריצת התמיכה ותכונות המדיניות העדכניות שלו מול תיעוד הפרויקט לפני פריסה; עיצוב ה-Sentry מגובה החומרה הוא שיקול נפרד.

האם אני צריך שבב BlueField-4 כדי להשתמש ב-OpenShell?

לא. NVIDIA אומרת ש-OpenShell תומך בתשתיות מקומיות, on-premises, ענן ו-Kubernetes אחרות. BlueField-4 עם Sentry מוסיף שכבת ניטור ואכיפה מבודדת חומרתית בהקמות נתמכות.

האם sandbox יכול לעצור prompt injection?

הוא יכול להגביל את הפעולות שהוראה מוזרקת גורמת לסוכן לנסות, אם הנתיב הרלוונטי מכוסה על ידי מדיניות. הוא לא הופך את הטקסט למהימן, מסיק את כוונת המשתמש האמיתי, או מבטיח שכל תופעת לוואי חסומה. בדקו נתיבים חלופיים.

האם מוכיח מדיניות הוא ערובה שהסוכן שלי בטוח?

לא. הוא בודק הרשאות שמיוצגות במודל שלו מול גבול. כלי שהושמט, credential, נתיב אישור אנושי, או גבול מוגדר גרוע עדיין יכולים להשאיר בעיה. בדקו את זרימת העבודה הפרוסה בפועל.

מה ההבדל בין ניטור לאכיפת runtime?

ניטור מזהה ומדווח על התנהגות; אכיפת runtime מרשה או דוחה פעולה בגבול. התרעה בדיעבד לא יכולה להפוך הודעה או העברת נתונים. שניהם שימושיים, אבל הם פותרים רגעים שונים של הבעיה.

מה לנסות קודם בפרויקט סוכן קטן?

השתמשו ב-credentials בעלי היקף צר, הפרידו הרשאות קריאה מכתיבה, הגדירו רשימת היתר מפורשת לכלים ויעדים, ובדקו פעולה נדחית בסביבה זמנית. הוסיפו sandbox כשהגישה וההשלכות של זרימת העבודה מצדיקות את השכבה הנוספת.

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS