כלי · סריקת אבטחה
האם הטקסט אומר לסוכן שלכם מה לעשות?
כל מייל, עמוד ומסמך שהסוכן קורא הוא גם סט של הוראות מועמדות. הסורק מסמן את הדפוסים הידועים - דריסת הוראות, התחזות לסימון צ'אט, כתובות הברחה, דרישות סודיות, הרשאות מזויפות - לפני שהטקסט פוגש את המודל. רץ לגמרי בדפדפן: שום דבר לא נשלח לשום מקום.
מדביקים את הטקסט שהסוכן עומד לקרוא - מייל, עמוד אינטרנט, מסמך, ייצוא צ'אט - או טוענים אותו כקובץ. הסריקה רצה בלשונית הדפדפן הזו והטקסט אף פעם לא נשלח לשום מקום.
מקורות
- OWASP Gen AI Security Project: LLM01 Prompt Injection
- OWASP Top 10 for Large Language Model Applications
- Simon Willison: Prompt injection (series)
איך ארגומנט מורעל נע בין הכלים של סוכן: Parameter poisoning וההגנה של AuthorityFlow, ואיך זיכרון מוזרק שורד בין סשנים: MemHarmBench והזרקת prompt חוצת-סשנים. לבדוק את הקונפיג שמחליט לאילו כלים הסוכן יכול להגיע עם בדיקת קונפיג MCP.