הנדסת קונטקסט לסוכני LLM: צוואר הבקבוק האמיתי
הנדסת פרומפט היא על המילים. הנדסת קונטקסט היא על מה שבחלון כשהמודל קורא אותן. הנה איך אני מקצב, מקצץ ומשמר קונטקסט לסוכנים שרצים שעות.
רוב האנשים שמבקשים ממני "לתקן את הפרומפט" אין להם בעיית פרומפט. יש להם בעיית קונטקסט. ההוראות בסדר. מה ששבור הוא כל ה*שאר* שהיה בחלון הקונטקסט של המודל כשהוא קרא את ההוראות האלה - פלט הכלי המיושן מלפני שתיים-עשרה פעולות, כל הקובץ כשרק תשע שורות היו חשובות, התוכנית החצי-מוגמרת שהסוכן כבר נטש.
הנדסת פרומפט היא על בחירת המילים. הנדסת קונטקסט היא על אוצרות המצב שהמילים האלה פועלות עליו. לקריאת סיווג חד-פעמית, השניים כמעט אותו דבר. לסוכן שרץ שעה על פני ארבעים קריאות כלי, הם לא יכולים להיות שונים יותר - והנדסת קונטקסט היא זו שמחליטה אם הוא מצליח.
החלון הוא תקציב, לא תרמיל
המודל המנטלי שהורס סוכנים הוא להתייחס לחלון הקונטקסט כמו תרמיל: זרוק הכל פנימה, המודל ימצא מה שהוא צריך. חלונות גדולים גורמים לזה להרגיש בטוח. Claude Opus 4.8 מגיע עם חלון קונטקסט של מיליון טוקנים. בטח אפשר פשוט לטעון את כל הריפו?
אפשר. לא כדאי. שני דברים משתבשים כשהחלון מתמלא, ואף אחד מהם הוא לא על פגיעה בגבול הקשיח.
ראשית, הקשב מדולל. מודל שמנמק על 4,000 טוקנים רלוונטיים חד יותר מאותו מודל שמנמק על אותם 4,000 טוקנים קבורים ב-400,000 טוקנים של רעש. האות עדיין שם; המודל פשוט צריך למצוא אותו, וכל טוקן לא רלוונטי הוא מס קטן על החיפוש ההוא. בנצ'מרקים של קונטקסט ארוך מסתירים את זה כי הם שואלים שאלת מחט-בערמה אחת. סוכנים אמיתיים שואלים מאות שאלות מול קונטקסט שהרוב שלו הוא פסולת מצעדים קודמים.
שנית, עלות וחביון גדלים עם מה שטוענים, בכל תור בודד. סוכן הוא לולאה: כל צעד שולח מחדש את ההיסטוריה המצטברת. אם תור 30 נושא 200K טוקנים של משקל מת, אתם משלמים על עיבוד גרסה כלשהי של המשקל ההוא בתור 30, ו-31, ו-32. קונטקסט מנופח הוא לא טעות חד-פעמית. זה חשבון חוזר.
אז יחידת הנדסת הקונטקסט היא תקציב טוקנים: החלטה מכוונת על כמה טוקנים כל חלק במשימה מורשה לתפוס, ומה מרוויח משבצת.
מה באמת שייך בחלון
אני ממיין את כל מה שסוכן עלול להחזיק לארבע רמות, והרמה מחליטה איפה זה חי - לא אם זה "שימושי". כמעט הכל שימושי. זו המלכודת.
רמה 1 - הליבה הקפואה. פרומפט ה-system, הגדרות הכלים, התפקיד. זה אף פעם לא משתנה בתוך ריצה, אז זה יושב בחזית הקידומת איפה שזה יכול להתקשש ואף פעם לא נקרא מחדש במחיר מלא. המשמעת כאן היא אל תיגעו בזה באמצע ריצה - בלי חותמות זמן מוטמעות, בלי דגלי מצב לכל-צעד. (עוד על למה בעוד רגע.)
רמה 2 - המשימה החיה. המטרה הנוכחית, הקבצים או הרשומות הספציפיים במשחק עכשיו, תוצאות הכלי האחרונות. זו קבוצת העבודה. מותר לה להיות גדולה כי היא נושאת-עומס.
רמה 3 - התייחסות ניתנת לשליפה. תיעוד, סכמות, החלטות קודמות, שאר בסיס הקוד. זה לא שייך בחלון כברירת מחדל. זה שייך מאחורי כלי - חיפוש, קריאת קובץ, חיפוש ערך - שהסוכן קורא לו כשהמשימה באמת צריכה את זה. טעינת רמה 3 בלהיטות היא הדרך הנפוצה ביותר שסוכנים טובעים בה.
רמה 4 - זיכרון חוצה-סשנים. כל דבר שחייב לשרוד את סוף הריצה: לקחים, העדפות משתמש, מוסכמות פרויקט. זה חי על דיסק (קובץ זיכרון, מאגר) ונקרא פנימה בכוונה בתחילת משימה, לא נישא בשיחה.
המיומנות היא הספלה. רוב הקונטקסט שמרגיש כמו רמה 2 הוא באמת רמה 3 - אתם לא צריכים את כל הקובץ בחלון, אתם צריכים את היכולת לקרוא את הקובץ. תנו לסוכן את הכלי ותנו לו למשוך מה שהוא צריך, מתי שהוא צריך.
שלושה מנופים לשמירת החלון רזה
ברגע שסוכן רץ, קונטקסט גדל בין אם תרצו ובין אם לא. כל קריאת כלי מוסיפה תוצאה; כל תור חשיבה מוסיף טוקנים. צריכים מנגנונים שלוחמים בחזרה. יש שלושה, והם עושים עבודות שונות.
קיצוץ: חתכו מה שמיושן
תוצאות הכלי הכי ישנות ובלוקי החשיבה המושלמים הם בדרך כלל משקל מת עד שהסוכן עשרים צעדים פנימה. עריכת קונטקסט מנקה אותם לפי ספים קונפיגורביליים - התוכן מוסר, לא מסוכם. השתמשו בזה כשפלטי כלי ישנים באמת כבר לא רלוונטיים ואתם רוצים לשמור על הטרנסקריפט שלם מבנית תוך כיווץ שלו. זה אזמל: הוא מסיר סוגים ספציפיים של בלוקים ברגע שהם מזדקנים החוצה.
דחיסה: סכמו כשאתם קרובים לקיר
כששיחה באמת הולכת להתקרב לגבול החלון, דחיסה מסכמת את ההיסטוריה המוקדמת לתוך בלוק קומפקטי בצד-שרת. עם Claude, זה בטא שמצטרפים אליו (הכותרת compact-2026-01-12), וזה מופעל אוטומטית כשמתקרבים לסף (ברירת המחדל סביב 150K טוקנים).
יש כלל אחד שנושך את כולם: צרפו את תוכן התגובה המלא בחזרה ל-messages שלכם כל תור, לא רק את הטקסט. בלוקי דחיסה חוזרים בתגובה, וה-API משתמש בהם כדי להחליף את ההיסטוריה הדחוסה בבקשה הבאה. אם מחלצים רק את מחרוזת הטקסט ומצרפים אותה, אתם זורקים בשקט את מצב הדחיסה וכל המנגנון נשבר. שמרו על התוכן המובנה; שמרו על הבלוקים.
זיכרון: שמרו מעבר לגבול
קיצוץ ודחיסה פועלים בתוך ריצה. זיכרון הוא עבור מעבר לריצות. המודל קורא וכותב קבצים בספריית זיכרון ששורדת את סוף התהליך. לסוכנים ארוכי-חיים, זה מה שהופך "מתחיל מאפס כל פעם" ל"זוכר מה שלמד בשבוע שעבר".
הפורמט משנה יותר ממה שאנשים מצפים. לקח אחד לקובץ, סיכום של שורה אחת בראש, תעדו גם תיקונים וגם גישות מאושרות, ועדכנו הערה קיימת במקום לייצר כפילות. מאגר זיכרון שהוא רק יומן הוספה-בלבד של כל מה שהסוכן אי פעם חשב הוא רעש רמה 3 עם צעדים נוספים. אחד מאוצר הוא יכולת אמיתית.
רוב הסוכנים ארוכי-הריצה הרציניים משתמשים בכל שלושה: קוצצים תורים מיושנים, דוחסים כשקרובים לגבול, משמרים את הלקחים העמידים לזיכרון.
ה-cache הוא כלי הנדסת קונטקסט
הנה החלק שאנשים מפספסים: איך מסדרים את הקונטקסט קובע אם אפשר לקשש אותו, וקאשינג הוא החלטת הנדסת קונטקסט, לא אופטימיזציה נפרדת.
קאשינג פרומפט הוא התאמת קידומת. המודל מקשש את הבייטים המדויקים של הפרומפט שלך עד נקודת שבירה, וכל שינוי בכל מקום לפני הנקודה ההיא מבטל את כל מה שאחריה. סדר הרינדור קבוע: כלים, אחר כך system, אחר כך messages. אז הארכיטקטורה כותבת את עצמה - תוכן יציב ראשון, תוכן נדיף אחרון.
זה בדיוק למה רמה 1 חייבת להישאר קפואה. ברגע שמטמיעים datetime.now() לתוך פרומפט ה-system, שמתם ערך לכל-בקשה בחזית הקידומת, ושום דבר מאחוריו לא יכול להתקשש אף פעם. אותו דבר לגבי רשימת כלים שמשתנה לכל משתמש, או blob JSON בסיריאליזציה בלי מיון מפתחות. אלה טעויות קונטקסט שבמקרה צפות כטעויות עלות - שיעור קריאת ה-cache יורד בשקט לאפס והחשבון משתלשל בשקט.
אם מזריקים משהו דינמי באמצע שיחה - החלפת מצב, מצב ששולף טרי - המהלך הוא לצרף אותו כ-message בסוף, לא לכתוב מחדש את פרומפט ה-system בחזית. message בתור 5 לא מבטל שום דבר לפני תור 5. עריכת פרומפט system מבטלת את כל הריצה. כתבתי מאמר נפרד שלם על המכניקה; לעכשיו, רק הפנימו את הסידור: קפוא, אחר כך חי, אחר כך נדיף.
איך אני באמת עושה את זה
כשאני בונה סוכן, תוכנית הקונטקסט באה לפני הפרומפט. קונקרטית:
- מתחילים מהכלים, לא מהטקסט. מה הסוכן יכול לשלוף לפי דרישה? כל יכולת שאני יכול לבטא ככלי היא קונטקסט שאני לא צריך לטעון מראש. כלי
grepמנצח הדבקת בסיס הקוד. כליread_fileמנצח הדבקת הקובץ. - מקצבים את קבוצת העבודה בקול. אני מחליט בערך כמה טוקנים המשימה החיה צריכה לתפוס ומתייחס לחריגות כאות שמשהו מסווג לא נכון כרמה 2 כשהוא באמת רמה 3.
- מכשירים את החלון. אני מסתכל על מה באמת צורך טוקנים על פני ריצה - אילו תוצאות כלי, אילו קריאות. (זה ממש למה בניתי בודק קונטקסט: אי אפשר לנהל מה שאי אפשר לראות.) הזכיות הגדולות הן כמעט תמיד כלי מילולי אחד שזורק תוצאות ענק שהסוכן קורא פעם ואף פעם לא משתמש שוב.
- מחליטים את סיפור ההתמדה מראש. האם הסוכן הזה צריך לזכור משהו אחרי שהוא עוצר? אם כן, קובץ זיכרון ומוסכמה לכתיבה אליו. אם לא, אל תוסיפו את המורכבות.
- שומרים על הקידומת קפואה ומסודרת עבור ה-cache. יציב ראשון. בלי שעונים בפרומפט ה-system. סדר כלים דטרמיניסטי.
שום דבר מזה לא אקזוטי. זו רק ההכרה שלסוכן, הפרומפט הוא חלק קטן ממה שהמודל קורא - והשאר שלו, החלק שאף אחד לא כתב בכוונה, הוא בדרך כלל מה שמעכב את המערכת.
גרסת המשפט האחד
הנדסת פרומפט שואלת מה כדאי לי להגיד למודל. הנדסת קונטקסט שואלת מה צריך להיות נכון בחלון כשהוא קורא את זה - ולכל דבר שרץ יותר מקריאה אחת, השאלה השנייה היא זו שמחליטה את התוצאה.
מקורות
ההתייחסויות האלה תומכות במושגים הטכניים שנדונים כאן. הן לא מאמתות באופן עצמאי את הניסויים האישיים, העלויות או נתוני הביצועים המדווחים במאמר הזה. התנהגות מוצר יכולה להשתנות אחרי פרסום.
- Effective context engineering for AI agents: בחירת קונטקסט, דחיסה וטריידאופי זיכרון.
שאלות נפוצות
מהי הנדסת קונטקסט?
הנדסת קונטקסט היא הפרקטיקה של אוצרות מכוונת של מה שתופס את חלון הקונטקסט של LLM - מה לטעון, מה לשלוף לפי דרישה, מה לקצץ ומה לשמור - כדי שהמודל ינמק על אות במקום רעש מצטבר. היא נבדלת מהנדסת פרומפט, שהיא על ניסוח ההוראות עצמן.
איך הנדסת קונטקסט שונה מהנדסת פרומפט?
הנדסת פרומפט מעצבת את ההוראות; הנדסת קונטקסט מעצבת את המצב שההוראות האלה פועלות עליו. לקריאת API אחת הם כמעט מתלכדים. לסוכן ארוך-ריצה שצובר תוצאות כלי והיסטוריה על פני תורים רבים, הנדסת קונטקסט היא המנוף הגדול יותר.
למה לא פשוט לטעון הכל לחלון קונטקסט גדול?
שתי סיבות. קשב מדולל - אותם טוקנים רלוונטיים קלים יותר להנמקה כשהם לא קבורים בטוקנים לא רלוונטיים. ועלות וחביון גדלים עם כל מה שטוענים, כל תור, כי סוכנים שולחים מחדש היסטוריה מצטברת בכל צעד. חלון של מיליון טוקנים הופך עומס-יתר לאפשרי, לא לחינם.
מהי דחיסה ומתי להשתמש בה?
דחיסה מסכמת את ההיסטוריה המוקדמת של שיחה לתוך בלוק קומפקטי כשהיא מתקרבת לגבול חלון הקונטקסט, כדי שסוכן ארוך יכול להמשיך. השתמשו בה לשיחות שסביר שיגיעו לגבול. הפרט הקריטי: צרפו את תוכן התגובה המובנה המלא בחזרה כל תור, לא רק את הטקסט, או שתאבדו את מצב הדחיסה.
מה ההבדל בין קיצוץ, דחיסה וזיכרון?
קיצוץ (עריכת קונטקסט) מסיר תוצאות כלי מיושנות ובלוקי חשיבה בתוך ריצה. דחיסה מסכמת היסטוריה מוקדמת כשמתקרבים לגבול החלון, בתוך ריצה. זיכרון משמר מידע לדיסק על פני ריצות. סוכנים ארוכי-חיים משתמשים בדרך כלל בכל שלושה.
איך סידור קונטקסט משפיע על קאשינג פרומפט?
קאשינג הוא התאמת קידומת, אז כל שינוי לפני נקודת שבירת cache מבטל את כל מה שאחריה. שימו תוכן יציב ראשון (פרומפט system קפוא, רשימת כלים דטרמיניסטית) ותוכן נדיף אחרון. הטמעת ערכים לכל-בקשה כמו חותמות זמן לתוך פרומפט ה-system הורסת בשקט את ה-cache לכל הבקשה.
קריאה נוספת
- Self-hosted Claude Managed Agents: שירות הסוכנים של Anthropic רץ עכשיו על התשתית שלך
Anthropic פתחה את self-hosted Claude Managed Agents בבטא פרטית: אתה מארח את שירות הסוכנים, את מסד הנתונים ואת ארגזי החול, וקריאות המודל הולכות ל-Claude API או לספק שאתה בוחר. מה רץ איפה, אילו הרשאות קיימות, מה עדיין יוצא מהרשת שלך, ומה כדאי לבדוק לפני שמתחייבים.
- המדריך של Anthropic לסוכני always-on: חמישה פרימיטיבים מאחורי סוכנים שלא יושבים בחינם
Anthropic פרסמה מדריך לבניית סוכני always-on: סוכנים שומרי-מצב ופרואקטיביים שמנהלים קונטקסט בין סשנים. הרעיון המרכזי הוא שהסוכן לא באמת רץ כל הזמן - הוא ישן בין ריצות, וחמישה פרימיטיבים ארכיטקטוניים מחליטים מתי הוא מתעורר, מה הוא זוכר, ומה מגיע אליך.
- חמש שרשראות הניצול של Claude מאת Anthropic: מה פוסט ה-Frontier Red Team טוען, ומה הוא משמיט
Anthropic אומרת שמודל פנימי שלא שוחרר מצא ושרשר פרצות ב-Chrome, Safari, Android, Windows ו-Linux. מה הפוסט של 27 באוקטובר טוען, תנאי הגילוי, העצה למגנים, והמספרים שהוא לא נותן.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS