איך קאשינג פרומפט באמת עובד (ולמה שלך לא)
קאשינג פרומפט יכול לקצץ עלות LLM בכ-90% על קונטקסט חוזר - אבל רק אם מבינים את כלל ההתאמה-קידומת. הנה המבטלים השקטים שמורידים בשקט את שיעור ה-cache hit שלך לאפס.
בפעם הראשונה שקאשינג פרומפט משתלם, זה מרגיש כמו רמאות. בקשה שעלתה כמה סנטים יורדת לשבריר סנט, החביון צונח במורד מצוק, ולא שינית מילה אחת בפרומפט. בפעם השנייה שמסתכלים, שיעור ה-cache hit הוא אפס ואין לך מושג למה.
דיבגתי את זה מספיק פעמים - בסוכנים שלי ושל אחרים - שאני בדרך כלל יכול לנקוב באשם לפני שאני רואה את הקוד. כמעט תמיד זו אותה מחלקת טעות, והיא נובעת מכלל אחד שאף אחד לא מפנים בפעם הראשונה שהוא קורא אותו.
הכלל האחד שהכל נובע ממנו
קאשינג פרומפט הוא התאמת קידומת. כל שינוי בכל מקום בקידומת מבטל את כל מה שאחריו.
זהו. זה כל הדבר. מפתח ה-cache נגזר מהבייטים המדויקים של הפרומפט המרונדר שלך עד כל נקודת שבירת cache. הבדל של בייט אחד במיקום N מבטל את ה-cache לכל נקודת שבירה במיקום N או אחריו.
סדר הרינדור של דברים קבוע: כלים, אחר כך system, אחר כך messages. אז נקודת שבירת cache על בלוק ה-system האחרון מכסה את הכלים ואת הפרומפט ה-system שלך ביחד. נקודת שבירה בסוף תור שיחה מכסה את כל מה שעד אותו תור.
הכלכלה היא למה אכפת לך. קריאת cache עולה בערך עשירית ממחיר הקלט הבסיסי. כתיבת cache עולה קצת יותר מבקשה רגילה - בערך 1.25x ל-TTL ברירת-המחדל של 5 דקות, 2x ל-TTL של שעה. אז נקודת האיזון מהירה: עם ה-TTL של 5 דקות, יוצאים מורווחים מהבקשה השנייה. עם ה-TTL של שעה צריך שלוש. אחרי זה, כל hit כמעט חינם.
המבטלים השקטים
הנה מה שהופך את זה לקשה: כשהקאשינג נשבר, שום דבר לא זורק שגיאה. לא מקבלים חריגה. מקבלים חשבון גדול יותר ואפליקציה איטית יותר, והאות היחיד הוא מספר באובייקט ה-usage שצריך ללכת לחפש. אז מצב הכשל בלתי נראה אלא אם מכשירים אותו.
אלה הדפוסים שאני עושה להם grep ברגע שמישהו אומר "הקאשינג לא עובד." כל אחד מהם שם משהו שמשתנה בין-בקשות לתוך הקידומת המקוששת:
| דפוס | למה זה שובר קאשינג |
|---|---|
datetime.now() בפרומפט ה-system | הקידומת משתנה בכל בקשה בודדת |
| UUID או request ID מוקדם בתוכן | אותו דבר - כל בקשה ייחודית בבייטים |
json.dumps(d) בלי מיון מפתחות | סיריאליזציה לא-דטרמיניסטית; בייטים שונים מריצה לריצה |
| Session או user ID אפוי בפרומפט ה-system | קידומת לכל-משתמש; שום דבר לא משותף בין משתמשים |
סעיפי system מותנים (if flag: system += ...) | כל שילוב דגלים הוא קידומת נבדלת |
| רשימת כלים שנבנית לכל משתמש | כלים מרונדרים במיקום 0; שום דבר לא מתקשש בין משתמשים |
הכי מגעיל הוא השעון. מישהו בעזרה מוסיף "Current date and time: ..." לראש פרומפט ה-system כדי שהמודל ידע איזה יום היום. אינסטינקט הגיוני, מיקום קטלני. חותמת הזמן ההיא יושבת בחזית הקידומת, אז היא משתנה בכל בקשה, אז שום דבר מאחוריה לא יכול להתקשש אף פעם - כל פרומפט ה-system, כל רשימת הכלים, הכל, מחויב מחדש במחיר מלא לנצח.
התיקון הוא אף פעם לא למחוק את הדבר הדינמי. המודל לעיתים קרובות באמת צריך את התאריך. התיקון הוא להזיז אותו. תוכן יציב הולך ראשון; תוכן נדיף הולך אחרון. שימו את התאריך ב-message בסוף השיחה, לא בפרומפט ה-system בחזית. ערך בתור 5 לא מבטל שום דבר לפני תור 5.
איפה לשים את נקודת השבירה
בהנחה שהקידומת שלך באמת יציבה, עדיין צריך לסמן איפה לקשש. כמה דפוסים מכסים כמעט הכל.
פרומפט system גדול משותף. שימו נקודת שבירה אחת על בלוק ה-system האחרון. כי כלים מרונדרים לפני system, הסמן הבודד הזה מקשש כלים ו-system ביחד. סיימנו.
שיחה מרובת-תורים. שימו את נקודת השבירה על בלוק התוכן האחרון של התור שהתווסף לאחרונה. כל בקשה חדשה משתמשת מחדש בכל השיחה הקודמת כקידומת מקוששת, וה-hits נצברים ככל שהשיחה גדלה.
פתיח משותף עם שאלה משתנה - דוגמאות few-shot או מסמכים משולפים זהים על פני בקשות, ואחריהם שאלה שונה בכל פעם. זה מה שאנשים הופכים. שימו את נקודת השבירה בסוף החלק המשותף, לא בסוף כל הפרומפט. אם מקששים את כל הדבר כולל השאלה המשתנה, כל בקשה כותבת רשומת cache חדשה לגמרי וקוראת כלום. הסמן הולך על הגבול בין קבוע למשתנה.
פרומפט שונה מהטוקן הראשון. אל תקששו בכלל. אם הפתיח של כל בקשה שונה, אין קידומת לשימוש חוזר, והוספת נקודת שבירה רק גובה מכם את פרמיית הכתיבה עבור אפס קריאות.
כמה גבולות קשיחים לזכור: מקבלים לכל היותר 4 נקודות שבירה לכל בקשה. קידומת המינימום הניתנת לקאשינג תלויה במודל - על Claude Opus 4.8 זה בערך 4,096 טוקנים, בעוד Sonnet 4.6 ו-Fable 5 מקששים מסביב ל-2,048. מתחת לרצפה הזו, הסמן מתעלם בשקט ושום דבר לא מתקשש. וכל נקודת שבירה מסתכלת אחורה רק בערך 20 בלוקי תוכן לרשומה קודמת, מה שמשנה בלולאות סוכניות: תור יחיד שמוסיף יותר מ-20 בלוקי tool-call יכול לפוצץ את חלון ההסתכלות-אחורה, אז שחררו נקודת שבירה ביניים כל עשרה-משהו בלוקים בתורים ארוכים.
תאמת, אל תניח
אי אפשר לאמוד בעין אם קאשינג עובד. צריך לקרוא את מספרי ה-usage. כל תגובה מדווחת שלושה:
cache_creation_input_tokens- טוקנים שנכתבו ל-cache בבקשה הזו (שילמת את פרמיית הכתיבה)cache_read_input_tokens- טוקנים שהוגשו מה-cache (שילמת בערך עשירית)input_tokens- השארית הלא-מקוששת, במחיר מלא
האבחנה פשוטה: אם cache_read_input_tokens הוא אפס על פני בקשות חוזרות עם מה שאמור להיות קידומת זהה, מבטל שקט פועל. עשו diff לבייטים המרונדרים בפועל של שתי בקשות רצופות והאשם מופיע - חותמת זמן, מפתח מסודר מחדש, כלי שבא והלך.
עדינות אחת שמכשילה אנשים: input_tokens הוא רק החלק הלא-מקושש. אם הסוכן שלך רץ שעה ו-input_tokens קורא 4,000, אל תחגגו פרומפט זעיר - הגודל האמיתי הוא סכום כל שלושת השדות, והשאר הוגש מ-cache. בדקו את הסכום, לא המספר הבודד.
ההחלטות הארכיטקטוניות שמשנות יותר מסמנים
מיקום סמנים הוא ה-20% הקלים. ההחלטות שבאמת קובעות את שיעור ה-hit שלך הן מבניות:
- הקפיאו את פרומפט ה-system. בלי תאריכים, מצבים או שמות משתמשים מוטמעים בחזית. הזריקו קונטקסט דינמי מאוחר יותר, כ-message.
- אל תשנו כלים או מודל באמצע שיחה. כלים מרונדרים במיקום 0, אז הוספה, הסרה או סידור-מחדש של אפילו כלי אחד מבטלת את כל ה-cache. החלפת מודלים גם - caches הם לכל-מודל. אם צריכים "מצבים", אל תחליפו את סט הכלים; העבירו את המצב כתוכן.
- סריאליזציה דטרמיניסטית. מיינו את מפתחות ה-JSON. איטרציה של hash set לתוך הפרומפט מייצרת סדרי בייטים שונים בריצות שונות, וה-cache לא יכול לדעת שזה זהה סמנטית.
- גרמו לקריאות מפוצלות לעשות שימוש חוזר בקידומת המדויקת של ההורה. מעברי סיכום, תת-סוכנים, דחיסה - אם הם בונים מחדש את ה-system או הכלים עם כל הבדל, הם מפספסים את ה-cache של ההורה לגמרי. העתיקו את הקידומת מילה במילה, צרפו תוכן ספציפי-פיצול בסוף.
לתקן את הארכיטקטורה ורוב הקאשינג עובד בחינם. לטעות בה ושום כמות של סמני cache_control לא תציל אתכם - תפזרו נקודות שבירה על קידומת שמשתנה בכל בקשה ותתהו למה החשבון אף פעם לא זז.
גרסת המשפט האחד
קאשינג פרומפט הוא התאמת קידומת, אז תוכן יציב הולך ראשון וכל דבר שמשתנה בין בקשות הולך אחרון - ואם שיעור ה-hit שלך אפס, יש שעון או UUID או dict לא-ממוין יושבים בחזית הקידומת שלך.
מקורות
ההתייחסויות האלה תומכות במושגים הטכניים שנדונים כאן. הן לא מאמתות באופן עצמאי את הניסויים האישיים, העלויות או נתוני הביצועים המדווחים במאמר הזה. התנהגות מוצר יכולה להשתנות אחרי פרסום.
- Claude prompt caching: היקף cache, קידומות ומכניקה ספציפית-ספק.
- OpenAI prompt caching: התנהגות קאשינג של OpenAI; לא ניתנת להחלפה עם Claude.
שאלות נפוצות
מהו קאשינג פרומפט?
קאשינג פרומפט נותן ל-LLM API לעשות שימוש חוזר בצורה המעובדת של קידומת פרומפט חוזרת על פני בקשות, וגובה בערך עשירית ממחיר הקלט עבור החלק המקושש. על קונטקסט חוזר הוא יכול לקצץ עלות קלט בכ-90% ולהוריד חביון בחדות.
למה שיעור ה-cache hit שלי אפס?
כמעט תמיד כי משהו שמשתנה בין-בקשות יושב בקידומת המקוששת - קריאת datetime.now() בפרומפט ה-system, UUID או request ID קרוב לראש, JSON בסיריאליזציה בלי מיון מפתחות, או רשימת כלים שמשתנה לכל משתמש. קאשינג הוא התאמת קידומת, אז כל שינוי בייט לפני נקודת השבירה מבטל את כל מה שאחריו.
כמה עולה קאשינג פרומפט?
קריאות cache עולות בערך 0.1x ממחיר הקלט הבסיסי. כתיבות cache עולות בערך 1.25x ל-TTL ברירת-המחדל של 5 דקות ו-2x ל-TTL של שעה. עם ה-TTL של 5 דקות מאזנים בבקשה השנייה; עם ה-TTL של שעה, השלישית.
איפה לשים את נקודת שבירת ה-cache?
על הבלוק האחרון של החלק היציב של הפרומפט שלך. לפרומפט system משותף, בלוק ה-system האחרון (שגם מכסה כלים). לשיחה מרובת-תורים, הבלוק האחרון של התור החדש ביותר. לפתיח משותף בתוספת שאלה משתנה, הגבול בין השניים - לא סוף כל הפרומפט.
איך מאמתים שקאשינג עובד?
קוראים את שדות ה-usage על התגובה: cache_read_input_tokens (הוגש מ-cache), cache_creation_input_tokens (נכתב בבקשה הזו), ו-input_tokens (לא מקושש). אם ספירת הקריאה נשארת אפס על פני בקשות קידומת-זהה, עשו diff לבייטים המרונדרים כדי למצוא את המבטל.
האם שינוי כלים או המודל שובר את ה-cache?
כן. כלים מרונדרים בחזית הקידומת, אז הוספה, הסרה או סידור-מחדש של כל כלי מבטלת את כל ה-cache. החלפת מודלים גם מבטלת, כי caches מוגדרים לכל מודל.
יש גודל מינימום לקאשינג?
כן, והוא תלוי במודל. על Claude Opus 4.8 קידומת המינימום הניתנת לקאשינג היא בערך 4,096 טוקנים; על Sonnet 4.6 ו-Fable 5 זה סביב 2,048. מתחת לרצפה נקודת השבירה מתעלמת בשקט ושום דבר לא מתקשש.
קריאה נוספת
- Self-hosted Claude Managed Agents: שירות הסוכנים של Anthropic רץ עכשיו על התשתית שלך
Anthropic פתחה את self-hosted Claude Managed Agents בבטא פרטית: אתה מארח את שירות הסוכנים, את מסד הנתונים ואת ארגזי החול, וקריאות המודל הולכות ל-Claude API או לספק שאתה בוחר. מה רץ איפה, אילו הרשאות קיימות, מה עדיין יוצא מהרשת שלך, ומה כדאי לבדוק לפני שמתחייבים.
- המדריך של Anthropic לסוכני always-on: חמישה פרימיטיבים מאחורי סוכנים שלא יושבים בחינם
Anthropic פרסמה מדריך לבניית סוכני always-on: סוכנים שומרי-מצב ופרואקטיביים שמנהלים קונטקסט בין סשנים. הרעיון המרכזי הוא שהסוכן לא באמת רץ כל הזמן - הוא ישן בין ריצות, וחמישה פרימיטיבים ארכיטקטוניים מחליטים מתי הוא מתעורר, מה הוא זוכר, ומה מגיע אליך.
- חמש שרשראות הניצול של Claude מאת Anthropic: מה פוסט ה-Frontier Red Team טוען, ומה הוא משמיט
Anthropic אומרת שמודל פנימי שלא שוחרר מצא ושרשר פרצות ב-Chrome, Safari, Android, Windows ו-Linux. מה הפוסט של 27 באוקטובר טוען, תנאי הגילוי, העצה למגנים, והמספרים שהוא לא נותן.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS