דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-11-04·8 דק׳

Parameter Poisoning: הזרקת הפרומפט ששומרת על הכלי הנכון ומחליפה את הארגומנט

מאמר arXiv חדש בוחן התקפות שמשאירות את קריאת הכלי במקום ומחליפות ארגומנט אחד, כמו נמען. הוא מדווח על 93.06% הצלחת התקפה ללא הגנה במודל אחד, והגנה ברמת הפרמטרים שמורידה את זה ל-9.03%. קראתי את המאמר ומפרט מה הוא מראה ומה לא.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

רוב ההגנות מול הזרקת פרומפט שואלות שאלה אחת: האם טקסט לא מהימן גרם לסוכן לעשות משהו חדש? מאמר arXiv מ-3 בנובמבר 2026, "Right Tool, Wrong Parameters: Defending LLM Agents Against Parameter Poisoning," שואל שאלה אחרת. מה אם הסוכן מבצע בדיוק את הקריאה שהמשתמש רצה, ותוקף רק משנה ארגומנט אחד, כמו מי מקבל את הכסף? המחברים מכנים את זה parameter poisoning. ב-benchmark שלהם, זה הצליח ב-93.06% מהמקרים מול סוכן לא מוגן שבנוי על Qwen3.6-27B.

קראתי את גרסת ה-HTML המלאה של המאמר (arXiv 2611.04673v1, cs.CR). לא הרצתי את הקוד או את ה-benchmark. כל המספרים למטה הם תוצאות של המחברים עצמם, מפרפרינט יחיד שלא עבר ביקורת עמיתים עד כמה שאני יכול לדעת.

מהי ההתקפה

הדוגמה של המאמר היא משימה בנקאית. המשתמש מבקש מהסוכן לשלם חשבון. הסוכן קורא מסמך, מוצא רשומת מוטב, וקורא לכלי ההעברה. תוקף ששולט בטקסט כלשהו שהסוכן קורא, כמו גוף מייל, ביקורת או הערת עסקה, שותל מספר חשבון. קריאת הכלי היא הצפויה, עם החשבון של התוקף כיעד, ורשומת המוטב המוגנת לא השתנתה.

המחברים אומרים שקשה לתפוס את זה משתי סיבות. שום פעולה חדשה לא מופיעה, ושינויי פרמטרים הם חלק נורמלי ממשימות אמיתיות. מודל האיומים שלהם נותן לתוקף שליטה על תוכן חיצוני בלבד. התוקף לא יכול לשנות את בקשת המשתמש, את הוראות המערכת, את ממשקי הכלים או את הרשומות המוגנות מחוץ להרשאה שלו. קריאה נחשבת להתקפה מוצלחת כשערך שהתוקף התכוון אליו מופיע בקריאת כלי שבוצעה.

מה ההגנה עושה

ההגנה המוצעת, AuthorityFlow, יושבת בשכבת התזמור. היא יכולה לראות את משימת המשתמש, את מפרט הכלי, את היסטוריית האינטראקציה ואת הקריאה הממתינה, והיא יכולה לחסום או לתקן את הקריאה. יש לה שלושה שלבים:

  • סמכות מודעת-משימה. היא מפצלת כל פלט כלי לקטעים עם אותו מוצא ונותנת לכל אחד סמכות בסיס של High, Low או Unknown. טענות בתוך טקסט לא מהימן לא מעלות את סמכות הקטע. אז היא מקמפלת את משימת המשתמש, מפרטי הכלים והקטעים ליחס שאומר איזה מקור רשאי לתמוך באיזו עובדה, ומקפיאה את היחס הזה לפני שפרמטר כלשהו נבדק.
  • מעקב תמיכת פרמטרים. לכל ארגומנט, היא מוצאת את העובדות שהערך תלוי בהן ואת הראיה לכל עובדה, תוך שמירת קטע המקור המקורי.
  • אימות. עובדה עוברת רק כשהראיה תומכת בה סמנטית והמקור מורשה לאותה עובדה תחת המדיניות הקפואה. הקריאה רצה רק אם כל פרמטר קריטי-למשימה עובר.

הרעיון המרכזי במאמר הוא שאמון תלוי במשימה, לא רק במקור. אותו מסמך יכול להיות בסדר לזיהוי ישות ולא מורשה לקבוע יעד תשלום.

ה-benchmark והמספרים

ה-benchmark, FactAuthBench, מרחיב את AgentDojo עם ארבעה תרחישים (Banking, Slack, Travel, Workspace) ו-144 מקרים מזווגים. לכל זוג יש ריצה נקייה וריצת התקפה לאותה משימת משתמש. מודלי הסוכן הם Qwen3.6-27B, Llama-3.3-70B ו-GPT-4o, וטבלה 1 מדווחת על Qwen3.6-27B ו-GPT-4o. מודל המאמת הוא Qwen3.6-27B כברירת מחדל.

מטבלה 1, עם תועלת שגרתית (BU), תועלת תחת התקפה (UA) ושיעור הצלחת התקפה (ASR):

  • בלי הגנה, Qwen3.6-27B: BU 90.28%, UA 3.47%, ASR 93.06%. על GPT-4o: BU 81.94%, UA 27.78%, ASR 57.64%.
  • Spotlighting, Qwen3.6-27B: ASR 69.44%. Sandwiching: 72.22%. MELON: 79.17%.
  • DRIFT, Qwen3.6-27B: ASR 39.58%, BU 86.11%.
  • CaMeL עם מדיניות: ASR 0.69% על Qwen3.6-27B ו-2.08% על GPT-4o, אבל BU יורד ל-43.75% ו-39.58%.
  • AuthorityFlow: ASR 9.03% ו-BU 82.64% על Qwen3.6-27B, ASR 5.56% ו-BU 73.61% על GPT-4o.
  • AuthorityFlow עם שלב טיהור: UA עולה ל-58.33% על Qwen3.6-27B ו-60.42% על GPT-4o, עם אותו ASR.

עם 144 מקרים, מקרה אחד הוא בערך 0.7 נקודות אחוז, אז פערים קטנים בין שיטות נמצאים בתוך כמה מקרים. זו האריתמטיקה שלי, לא טענה מהמאמר.

מה ניסויי ההשמטה אומרים

על Qwen3.6-27B, הסרת הרשאת מקור מעלה את ה-ASR מ-9.03% ל-62.50%. הסרת תמיכה סמנטית מעלה אותו ל-28.47%. הסרת מעקב תמיכת פרמטרים מורידה את ה-BU ל-56.94%. הסרת ההרשאה מבוססת-השימוש-במשימה מורידה את ה-BU ל-59.72% בזמן שה-ASR נשאר קרוב ל-7.64%. המחברים קוראים את זה כך: הרשאת מקור חוסמת תוקפים, וסמכות מודעת-משימה מונעת חסימת-יתר.

המאמת גם משנה. עם Llama-3.3-70B כמאמת, ASR הוא 24.31% ו-BU הוא 62.50%. עם GPT-4o, ASR הוא 15.28% ו-BU הוא 75.69%. ההגנה טובה רק כמו המודל שעושה את הבדיקות.

מה המחברים אומרים שזה לא פותר

סעיף המגבלות מכנה שלושה דברים. קלט משתמש דו-משמעי או מטא-נתוני כלים חסרים יכולים להפוך את גבולות הסמכות ללא ודאיים. העיצוב משתמש במודל מאמת נפרד, אז החוסן שלו מול שיקול דעת עוין מורכב ועלות ההסקה שלו נשארים פתוחים. והמאמר מתמקד בזיהוי ויירוט של השפעת פרמטרים לא מורשית, עם שחזור משימה כעבודה עתידית.

מה אני הייתי בודק

אלה ההצעות שלא נבדקו שלי לכל מי שבונה סוכנים עם כלים שמזיזים כסף, שולחים הודעות או משנים רשומות.

  • לפרט את ארגומנטי הכלים שבהם ערך שגוי עולה כסף או אמון אמיתיים: נמענים, סכומים, יעדים, תאריכים. אלה הראשונים לשמור עליהם.
  • לכל אחד, לכתוב איזה מקור מורשה לקבוע אותו. אם התשובה היא "בקשת המשתמש או רשומה מוגנת", אז ערך שמיוחס לגוף מייל צריך להיכשל.
  • לרשום בלוג מאיפה כל ערך ארגומנט הגיע, לא רק את הקריאה. בלי מוצא, אי אפשר להבדיל בין שינוי לגיטימי למורעל.
  • להוסיף שלב אישור לארגומנטים רגישים שלא הגיעו מהודעת המשתמש. זה זול יותר ממודל מאמת ויכול לתפוס את הדוגמה במאמר.
  • לבחון עם ריצות מזווגות, כמו שהמאמר עושה: אותה משימה, פעם נקייה ופעם עם טקסט תוקף במסמך שהסוכן קורא.

מה לא הייתי מסיק

  • ש-AuthorityFlow מוכנה לפריסה. זה פרפרינט, שהוערך על 144 מקרים ב-benchmark אחד, ולא מצאתי שחזור עצמאי.
  • שהמספרים עוברים לסוכן שלכם. התוצאות שונות מאוד בין שני המודלים בטבלה.
  • ש-CaMeL בחירה גרועה. ה-ASR הנמוך שלה מגיע עם ירידה גדולה בתועלת שגרתית ב-benchmark הזה, מה שיכול להיות תלוי באיך המדיניות הוגדרה.
  • שההתקפה חדשה בפרקטיקה. המאמר מראה שהיא עובדת ב-benchmark. אין לי נתונים על כמה פעמים היא קורית בפרודקשן.

שאלות נפוצות

מה זה parameter poisoning?

התקפה שבה תוכן בשליטת תוקף משנה ארגומנט אחד או יותר של קריאת כלי לגיטימית, כמו נמען, בלי להוסיף פעולה חדשה.

איך זה שונה מהזרקת פרומפט רגילה?

הזרקה ברמת ההוראות מנסה לגרום לסוכן לעשות משהו חדש. parameter poisoning שומרת על הפעולה המיועדת ומשנה ערך בתוכה.

מה זה AuthorityFlow?

ההגנה של המאמר. היא בונה מפת אמון ייחודית-למשימה על פני מקורות מידע, עוקבת אחרי מאיפה כל ערך ארגומנט הגיע, וחוסמת קריאה כשהמקור התומך לא מורשה לאותו ארגומנט.

מה זה FactAuthBench?

Benchmark שהמחברים בנו על AgentDojo עם 144 מקרים מזווגים נקיים ותחת-התקפה על פני Banking, Slack, Travel ו-Workspace.

כמה טוב זה עבד?

על Qwen3.6-27B, הצלחת ההתקפה ירדה מ-93.06% ל-9.03%, והתועלת השגרתית עברה מ-90.28% ל-82.64%. על GPT-4o, ASR היה 5.56% עם ההגנה ו-57.64% בלעדיה.

האם מסנן קלט חזק יותר עוצר את זה?

בתוצאות המאמר, הגנות ברמת הקלט כמו Spotlighting ו-Sandwiching עדיין השאירו שיעורי הצלחת התקפה בין 52% ל-72% על שני המודלים.

הרצתם את זה?

לא. קראתי את המאמר והטבלאות שלו. לא הרצתי את ה-benchmark או את הקוד.

מקורות

כולם נקראו ב-4 בנובמבר 2026.

לא נקרא: הנספח, מאמרי הבסיס המצוטטים, ה-benchmark של AgentDojo עצמו, וכל קוד שפורסם.

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS