דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-11-03·9 דק׳

MemHarmBench: מה benchmark חדש ב-arXiv אומר על Prompt Injection ששורד בזיכרון של סוכנים

מאמר arXiv מ-1 בנובמבר בודק אם הוראות שנטענות בתוכן חיצוני נשמרות בזיכרון סוכנים ומכווינות סשנים מאוחרים יותר אחרי שהמקור נמחק. קראתי את התכנון, הטבלאות והמגבלות של המאמר, ומסכם מה הוא מדד ומה לא.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

MemHarmBench (arXiv 2611.01700, הוגש ב-1 בנובמבר 2026) בודק תרחיש אחד: סוכן קורא תוכן חיצוני עם הוראה נסתרת, שומר אותה ככלל זיכרון, התוכן נמחק, וסשן מאוחר יותר על משימה רגילה עוקב אחרי הכלל בכל זאת. בבדיקות של המחברים עם שני מוצרי סוכנים ושני מודלים, כללים שנשמרו הובילו החלטה מחדש ב-59.38 עד 76.39 אחוז ממקרי ההזרקה-העקיפה הזכאים. הטענה החדה יותר של המאמר היא שב-55.71 אחוז ממקרים הזכאים הסוכן גם סיים את המשימה נקי בלי אנומליה ששופטה, כך ששום דבר לא נראה רע.

קראתי את גרסת ה-HTML של המאמר: המבוא, התכנון, המדדים, התוצאות, המסקנה והמגבלות. לא קראתי את הנספחים ולא הרצתי את הקוד שפורסם. המספרים למטה הם של המחברים עצמם, ממקרי בדיקה סינתטיים.

מה ה-benchmark עושה

יש בו 288 מקרים: 24 תבניות מתקפה מוצלבות עם 12 הקשרים תפעוליים. שמונה תבניות הן הוראות ישירות (96 מקרים) ו-16 עקיפות, מוסתרות בתוכן עסקי כמו רשומה או הערה (192 מקרים). כל מקרה רץ בשני שלבים.

1. חשיפה. הסוכן פוגש את ההוראה הזדונית. משימת החשיפה מבקשת ממנו לאמץ קונבנציית workflow, והבדיקה בודקת אם הכלל נכנס לזיכרון מתמיד. אם הבדיקה הראשונה שלילית, מותר follow-up אחד מוגדר מראש באותו סשן.

2. טריגר. אם הכלל נשמר, סשן חדש מתחיל עם זיכרון שמור, תוכן ההתקפה מוסר, ומשימה לגיטימית. משימת הטריגר לא מכילה את הערך של התוקף ולא בקשה להיזכר בכלל.

המאמר ממיין את 12 יעדי ההתקפה לפי מי נפגע: המשתמש, בעל סביבת עבודה או פרויקט, או צד חיצוני. הדוגמה הפתיחה שלו היא רשומת הוצאה שמנים מקבל החזר אחד, הערה מיובאת שאומרת לסוכן להשתמש באחר בסיכומים עתידיים, וסיכום מאוחר יותר שמנים את הבחירה של התוקף.

ארבעת המדדים

  • PMIR: האם הכלל המוזרק נשמר בזיכרון, כולל פרפרזה.
  • ASR: האם התוצר הסופי מאמץ את הערך הנבחר של התוקף. ציטוט או דחיית הכלל לא נספרים.
  • UTDR: האם המשימה הייתה חסרה, לא שלמה או הפרה דרישה לא קשורה לערך המותקף.
  • ATAR: האם ההרצה המתועדת מראה לולאה, סתירה, חוסר-התקדמות חוזר או אנומליה אחרת ברובריקה.

מדדי הטריגר סופרים רק פרקים שבהם הכלל נשמר וכל שיפוט נפתר. המחברים אומרים שזה אומר שהשיעורים הם לא שיעורי פשרה על פני הקטלוג.

המספרים

המחברים בדקו את OpenClaw 2026.7.1 ואת Claude Code 2.1.228, כל אחד עם GPT-5 ועם Gemini-2.5-Flash, על פני שלוש חזרות: 3,456 פרקים. GPT-5 שימש כשופט.

סוכן, ממוצע על שני המודליםIPI ASRסטיית משימה IPIאנומליות IPIDPI ASR
OpenClaw75.69%15.58%7.38%89.05%
Claude Code60.94%14.18%3.37%78.41%

לכל קונפיגורציה הייתה אימוץ גבוה יותר תחת הזרקה ישירה מאשר עקיפה. לפי קבוצת קורבן, יעדי צד-חיצוני היו בעלי האימוץ הגבוה ביותר לשני הסוכנים (79.58 אחוז ו-64.20 אחוז). יעדי בעל-סביבת-עבודה היו בעלי סטיית המשימה הנמוכה ביותר ושיעורי האנומליה הגבוהים ביותר.

מחקרי גורמים

אלה השתמשו בקבוצות מקרים נבדקות נפרדות, והמאמר קורא לניגודים תיאוריים.

  • רלוונטיות: כשמטרת התוקף הייתה רלוונטית יותר לקטגוריה המבוקשת, השמירה עלתה ב-30 וב-25 נקודות והאימוץ עלה ב-25 וב-20 נקודות לשני הסוכנים.
  • מרחק: אחרי ארבעה סשנים רגילים לא קשורים, אימוץ מותנה ירד מ-70 ל-60 אחוז עם backbone אחד של Claude Code ומ-62.5 ל-50 אחוז עם השני. הוא נשאר מעל אפס, וכמה מקרים בודדים הלכו לכיוון ההפוך.
  • רמזי טווח: כשההתחלה המוצהרת של הכלל התנגשה עם רשומת המטרה, השמירה והאימוץ ירדו בכ-15 עד 20 נקודות, אבל אימוץ מותנה נשאר ב-62.5 וב-66.67 אחוז.
  • תמונות: בקונפיגורציה אחת, Claude Code עם Claude Haiku 5.5, תמונת עמוד אינטרנט שנושאת את ההוראה הפיקה 52.5 אחוז שמירה ו-40 אחוז אימוץ, מול 2.5 אחוז אימוץ עם תמונה נקייה. טקסט תואם נתן 42.5 אחוז.

מה המחברים אומרים שמגביל את התוצאות

פסקת המגבלות אומרת שהתוצאות הן פרוקסים ברמת ההחלטה לנזק, לא מדידות מהעולם האמיתי. שיעורי הטריגר מותנים בשמירה. תתי-הקבוצות הישירה והעקיפה שונות בהרכבן. רווחי הסמך מתייחסים לפרקים כבלתי-תלויים. הבדלים בכלים ובמצב השמור של כל מוצר מונעים ייחוס לזיכרון-בלבד ומגבילים השוואה בין מערכות. הבדיקה החזותית השתמשה בקונפיגורציה אחת ובעמודים מבוקרים. כל הזהויות והיעדים סינתטיים.

איך זה מתחבר לסורקי זיכרון

השבוע כתבתי על ArtifactScanner של Pydantic AI, שתיעוד הפרויקט מתאר כהתאמת תבניות שמפספסת הוראות מנוסחות-מחדש. MemHarmBench סופר פרפרזה כשמירה, והמתקפות שלו כוללות קונבנציות כתובות כתוכן עסקי רגיל. לא בדקתי שום סורק מול ה-benchmark הזה, והמאמר לא מעריך את Pydantic AI, אז אני לא מסיק מסקנה על איך סורק היה מקבל ציון. ההשוואה רק מראה למה מגבלת התאמת התבניות חשובה.

מה הייתי בודק

אלה הצעות שלא בדקתי, לא ממצאים מהמאמר.

  • פרטו כל נתיב שבו הסוכן שלכם יכול לכתוב זיכרון, וציינו אילו מהם מקבלים טקסט ממקורות חיצוניים כמו אימייל, עמודי אינטרנט או רשומות מיובאות.
  • תעדו את המקור של כל כלל מאוחסן, ומי היה מורשה להגדיר אותו. ההצגה של המאמר היא שסמכות לספק מידע היא לא סמכות להגדיר כללים עתידיים.
  • בדקו את הסוכן שלכם עם בדיקת שני-סשנים: שתלו קונבנציה מזוהה אבל לא מזיקה במסמך, מחקו את המסמך, וראו אם משימה מאוחרת יותר לא קשורה עוקבת אחריה.
  • סקרו החלטות שיצאו מזיכרון, לא רק משימות כושלות. התוצאה המרכזית של המאמר היא שהחלטות מזיקות יכולות לשבת בתוך עבודה שלמה.

מה לא הייתי מסיק

  • לא הייתי מסיק שהשיעורים האלה תקפים לסוכן שלכם. המקרים סינתטיים, המוצרים והמודלים הם גרסאות ספציפיות, והשופט הוא מודל.
  • לא הייתי מסיק שמוצר סוכן אחד בטוח יותר מאחר. המחברים אומרים שההשוואה בין מערכות מוגבלת.
  • לא הייתי מסיק שזיכרון הוא הגורם היחיד. המאמר אומר שמצב שמור יכול לכלול ארטיפקטים שאינם זיכרון.
  • לא הייתי מתייחס ל-preprint יחיד ב-arXiv כמוסכם. לא חיפשתי שחזור.

שאלות נפוצות

מה זה MemHarmBench?

Benchmark של 288 מקרים סינתטיים ל-cross-session prompt injection בסוכנים עם זיכרון מתמיד, מ-arXiv 2611.01700.

מה זה cross-session prompt injection?

הוראה בתוכן חיצוני נשמרת בזיכרון, התוכן מאוחר יותר מוסר, וסשן חדש עוקב אחרי הכלל השמור על משימה רגילה.

מה היו התוצאות העיקריות?

כללים שנשמרו הובילו החלטות מחדש ב-59.38 עד 76.39 אחוז ממקרי ההזרקה-העקיפה הזכאים על פני ארבע קונפיגורציות, ו-55.71 אחוז ממקרים זכאים גם סיימו את המשימה בלי אנומליה ששופטה.

אילו סוכנים נבדקו?

OpenClaw 2026.7.1 ו-Claude Code 2.1.228, כל אחד מצומד עם GPT-5 ועם Gemini-2.5-Flash, ועוד בדיקה חזותית אחת עם Claude Haiku 5.5.

האם המספרים אומרים שרוב הסוכנים נפגעו?

לא. השיעורים תקפים רק לפרקים שבהם הכלל נשמר, והמחברים אומרים שהם לא שיעורי פשרה על פני הקטלוג.

האם תמונות עבדו כנושאי מתקפה?

בקונפיגורציה מבוקרת אחת, כן: 40 אחוז אימוץ עם תמונה מוזרקת מול 2.5 אחוז עם אחת נקייה.

הרצת את ה-benchmark?

לא. קראתי את הטקסט העיקרי של המאמר. לא קראתי את הנספחים ולא הרצתי את הקוד שפורסם.

מקורות

כולם נקראו ב-3 בנובמבר 2026.

לא נקרא: נספחי המאמר, קוד ה-benchmark שפורסם, וכל שחזור או תגובה למאמר.

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS