דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-06-18·9 דק׳

איך קיצצתי את חשבון ה-LLM API שלי ב-60% בלי לגעת בסוכנים

מספרים אמיתיים מבניית סוכני AI בפרודקשן: לולאות תקציב-טוקנים, טריקי ניתוב מודלים, והרגלי ביקורת עלות שהורידו את ההוצאה החודשית שלי מ-340$ ל-136$.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

חשבון ה-LLM שלי בינואר 2026 היה 340$. באפריל הוא היה 136$. אותם סוכנים, אותו עומס עבודה, בערך אותו מספר משימות שמעובדות ביום. לא החלפתי מודלים לזולים יותר באופן גורף, ולא ניצלתי שום פיצ'ר כדי להגיע לשם.

מה שעשיתי היה לבנות לולאת ביקורת עלות ראויה - אותו סוג לולאה שאני עכשיו ארוז לתוך כל מערכת סוכן פרודקשן שאני משלח ללקוחות.

הנה מה שבאמת הזיז את המספרים.

הרגע שהבנתי שיש לי בעיית בזבוז

בניתי את LLM Cost Lens ככלי צדדי לעצמי. לא כמוצר לקוח בהתחלה - רק כדשבורד כדי שאוכל באמת לראות לאן טוקנים הולכים. באותו זמן רצו ארבעה סוכנים במקביל: מערכת ה-AI Mafia הרב-סוכנית, בוט אוטומציית WhatsApp שרץ על Cloud Run, מבקר חלון-הקשר שאני קורא לו ctxauditor, וגרסה מוקדמת של סוכן מודיעין-מסמכים.

מה שהדשבורד הראה לי היה מביך. בערך 38% מסך הוצאת הטוקנים שלי הלכו ל-system prompts שנשלחו מחדש בכל קריאה בודדת. לא במטמון. לא מחולקים. פשוט נורו סיטונאית על המודל בכל בקשה. עוד 14% הגיעו מתגובות tool-call שכללו blobs מלאים של JSON כשרק 3 שדות נקראו אי פעם במורד הזרם.

זה יותר ממחצית ההוצאה שלי שיושבת בחוסר-יעילות ניתן לתיקון. שום דבר אקזוטי. פשוט חוסר תשומת לב.

שמירת טוקנים במטמון: התיקון הראשון שבאמת נדבק

השינוי בעל ה-ROI הגבוה ביותר היה prefix caching. ה-prompt caching של Anthropic על Claude חותך את העלות של קידומות פרומפט מחוזרות ב-90%. לבוט ה-WhatsApp שלי - שחולק system prompt ארוך על פני כל סשן משתמש - זה לבדו חסך 47$ בחודש בודד.

המימוש לא מורכב. אתם מסמנים את קטעי ה-system prompt הסטטיים שלכם עם cache_control מוגדר ל-ephemeral. המודל שומר את הקידומת במטמון לעד 5 דקות. אם הבקשה הבאה פוגעת בתוך החלון הזה, אתם משלמים תעריפי קריאה-ממטמון (0.3 סנט למיליון טוקנים על Sonnet) במקום תעריפי קלט מלאים (3 סנט למיליון על Sonnet). הבדל של פי 10.

המלכוד - ונשרפתי מזה במשך בערך שבוע - הוא שהמטמון נכנס לתוקף רק אם התוכן השמור הוא בראש הפרומפט. אם מבנה ה-system prompt שלכם משתנה לכל בקשה (נגיד, אתם מזריקים נתוני משתמש דינמית לתוך ה-system prompt עצמו במקום לסיבוב המשתמש), פגיעות המטמון שלכם יורדות לאפס. נאלצתי לבנות מחדש שלושה סוכנים לפני שהמטמון התחיל לעבוד באופן אמין.

מחקו את ההנחה הקודמת שלי שהמטמון פשוט יעבוד ברגע שהפעלתי אותו. הוא צריך משמעת ארכיטקטורה, לא רק דגל API.

ניתוב מודלים: החלק שרוב הבונים מדלגים עליו

לא כל קריאה צריכה GPT-4o או Claude Sonnet. אני יודע שזה נשמע מובן מאליו. אבל כשבונים מהר, אתם מחזירים למודל הטוב ביותר כי אתם סומכים עליו, וניתוב מרגיש כמו אופטימיזציה מוקדמת מדי.

הנה המסגור שסוף סוף גרם לי באמת לבנות את זה: סווגו את הקריאות שלכם לפי חומרת ההחלטה, לא לפי הרגל ברירת מחדל.

פיצלתי קריאות סוכן לשלוש שכבות:

שכבה 1 - חילוץ, עיצוב, סיווג פשוט. חומרה נמוכה. מודל קטן יותר מטפל בזה בסדר.

שכבה 2 - הסקה על קלטים דו-משמעיים, תכנון רב-שלבי, בחירת כלים. חומרה בינונית. Sonnet או שווה ערך.

שכבה 3 - סינתזה יצירתית, פתרון בעיות חדש, קריאות שיפוט מורכבות. חומרה גבוהה. רק כאן אני שולח למודל הדגל.

בסוכן ctxauditor שלי, בערך 70% מהקריאות היו עבודת שכבה 1 - ממש רק שליפת שדות מובנים מתוך מסמכים. העברתי אותן למודל קטן ומהיר יותר. עלות לקריאה ירדה ב-85% לשכבה ההיא. עלות הסוכן הכוללת ירדה ב-41%.

לוגיקת הניתוב עצמה פשוטה: סוכן מסווג קליל (עלות שכבה 1, מובן מאליו) מחליט איזו שכבת מודל מטפלת בכל משימה נכנסת. התקורה של המסווג היא בערך 200 טוקני קלט לקריאה. בסקייל, זה מחזיר את עצמו תוך 10 קריאות.

בעיית תגובת-הכלי שאף אחד לא מדבר עליה

זו הפתיעה אותי. כשסוכן קורא לכלי ומקבל תגובה בחזרה, התגובה ההיא נכנסת להקשר. אם אתם לא זהירים, היא נשארת שם לכל השיחה, ומגדילה את חלון ההקשר בכל סיבוב.

במערכת ה-AI Mafia שלי - שיש לה מספר תת-סוכנים שמתקשרים הלוך ושוב - ראיתי חלונות הקשר מתנפחים ל-180,000 טוקנים באמצע שיחה. כמעט כולם היו תגובות כלים מיושנות ממקום מוקדם בזרימת העבודה. תוצאות שכבר נוצלו, עובדו, ואף פעם לא יתייחסו אליהן שוב. עדיין משלמים כדי לשלוח אותן מחדש בכל סיבוב חדש.

התיקון היה קיצוץ הקשר: אחרי שתוצאת כלי נצרכת על ידי הסוכן, מסמנים אותה. בסיבוב הבא, מחליפים אותה בסיכום של 1-2 משפטים במקום ה-JSON המלא. לתגובות כלים ארוכות (קריאות API שמחזירות אובייקטים של 50 שדות), אני עכשיו כותב פרומפטי דחיסה מפורשים שמחלצים רק את השדות שלוגיקת המורד תשתמש בהם לפני שהתוצאה בכלל נכנסת להקשר.

זה הוריד את תקורת ההקשר של AI Mafia מבערך 180 אלף טוקנים לזרימת עבודה לבערך 42 אלף. ביום, בנפח שהמערכת הזו רצה, זה משמעותי.

דפוס לולאת התקציב

דפוס אחד שתיקנתי על פני כל סוכן חדש שאני בונה: לולאת תקציב הטוקנים.

הרעיון פשוט. לפני כל קריאת LLM, בדקו את עלות הטוקנים המצטברת של הסשן הזה מול תקרה רכה. אם אתם בתוך 20% מהתקרה, עברו למצב חסכוני - system prompt קצר יותר, שכבת מודל קטנה יותר, קריאות כלים פחות מילוליות. אם אתם פוגעים בתקרה, הסוכן מציג סיכום למשתמש ומושהה במקום לרוץ ללא הגבלה.

מימשתי את זה קודם בבוט ה-WhatsApp על Cloud Run. הסוכן עכשיו עוקב אחרי הוצאת טוקנים מצטברת לכל משתמש ביום באמצעות מונה Redis קליל. כשסשן של משתמש מתקרב לסף התקציב, הסוכן באופן טבעי דוחס את התגובות שלו. משתמשים כבדים אף פעם לא שמים לב (האיכות עדיין שם), אבל הם מפסיקים לייצר עלויות חריגות של 2$ לסשן.

סך ההוצאה על הבוט ההוא: ירידה של 28% חודש-על-חודש אחרי שלולאת התקציב שולחה.

מה LLM Cost Lens באמת הראה לי

הדשבורד שבניתי - LLM Cost Lens - מציג ארבעה מספרים שאני עכשיו רואה כחיוניים לכל סוכן פרודקשן:

1. התפלגות טוקנים לפי קטע פרומפט - איזה אחוז מההוצאה שלכם הוא מערכת מול הקשר מול תגובות כלים מול תפוקת העוזר

2. שיעור פגיעות מטמון - האם אתם באמת נהנים מ-prefix caching או רק חושבים שאתם?

3. הקצאת שכבת מודל - האם לוגיקת הניתוב שלכם עובדת או שמשימות שכבה 1 עדיין הולכות למודל הדגל שלכם?

4. שונות עלות לפי משתמש ולפי זרימת עבודה - אילו משתמשים או נתיבי זרימת עבודה ספציפיים הם חריגים?

המספר הרביעי ההוא לא מוערך מספיק. בכל מערכת שבדקתי, יש 5-10% מהמשתמשים או סוגי זרימות העבודה שמייצרים 40-60% מסך העלות. זיהוים נותן לבנות לוגיקת דחיסה ממוקדת במקום קיצוצים קהים שפוגעים בכולם.

האמת הקשה יותר על שליטה בעלויות

הנה מה שאני אומר ללקוחות כשהם באים אליי ורוצים לקצץ את חשבונות ה-LLM שלהם: הקריאה הזולה ביותר היא זו שארכיטקטתם נכון בפעם הראשונה.

כל אופטימיזציית עלות שתיארתי היא תיקון בדיעבד. תיקנתי ארכיטקטורות שבניתי מהר, תחת לחץ, בלי מידול עלות. המינוף האמיתי הוא לבנות מערכת מודעת-עלות מהיום הראשון - שזה אומר לעשות ניתוח תקציב טוקנים במהלך העיצוב, לא אחרי הלם החשבונית הראשונה.

לפרויקטים חדשים, אני עכשיו מריץ סשן מידול עלות של שעתיים לפני כתיבת שורת קוד סוכן אחת. אנחנו מעריכים נפח קריאות, גודל הקשר ממוצע, פיצול שכבות מודל, ותקורת תגובת כלים. זה לא מושלם - שימוש אמיתי תמיד שונה מהערכות - אבל זה מביא לקוחות לתוך 30% מהעלויות בפועל, שזה אומר בלי הפתעות ובלי ספרינטים של אופטימיזציית חירום.

ה-204$ שחסכתי בין ינואר לאפריל לא היו טריק חכם. הם היו התוצאה של נתונים (LLM Cost Lens), מסגרת ניתוב (סיווג שכבות), והמשמעת לתקן את המערכות שלי כראוי במקום פשוט להוסיף עוד חישוב.

לכל AI builder שעושה עבודת פרודקשן רצינית: כשרו את ההוצאה שלכם לפני שאתם מכשירים כל דבר אחר.


מקורות

אלה הפניות טכניות, לא אימות עצמאי של העלויות האישיות, התזמונים, הארכיטקטורה או התוצאות המדווחים במאמר הזה. הנתונים ההיסטוריים האלה דורשים את הרשומות המקוריות; אל תשתמשו בהם כתקציב או מדד נוכחי.

שאלות נפוצות

מהו מניע העלויות הגדול ביותר של LLM API בסוכני פרודקשן?

System prompts שנשלחים מחדש במלואם בכל קריאה בלי מטמון הם בדרך כלל המניע הבודד הגדול ביותר. ברוב ארכיטקטורות הסוכנים שבדקתי, פרומפטים סטטיים לא-שמורים במטמון מהווים 30-40% מסך הוצאת הטוקנים. הפעלת prefix caching על קטעי הפרומפט הסטטיים ובנייה מחדש של פרומפטים כדי למקם תוכן סטטי ראשון יכולה לחתוך את הרכיב הזה בעד 90%.

איך prompt caching עובד ב-API של Claude של Anthropic?

אתם מסמנים קטעים סטטיים של הפרומפט עם cache_control מוגדר ל-ephemeral. אם אותה קידומת מחוזרת בתוך חלון של 5 דקות, קריאות עוקבות משלמות תעריפי קריאה-ממטמון - בערך פי 10 זול יותר מתעריפי קלט מלאים. התוכן השמור חייב להופיע בתחילת הפרומפט; תוכן דינמי שמוזרק לתוך הקטע הסטטי שובר פגיעות מטמון לחלוטין.

מהו ניתוב מודלים בפיתוח סוכני AI?

ניתוב מודלים אומר להפנות כל קריאת LLM למודל הזול ביותר שמסוגל לטפל במשימה הספציפית ההיא. אתם מסווגים קריאות לפי מורכבות החלטה - חילוץ פשוט הולך למודל קליל, הסקה מורכבת הולכת למודל דגל. סוכן מסווג (שהוא עצמו רץ על השכבה הזולה ביותר) מקבל את החלטת הניתוב. התקורה היא בערך 200 טוקני קלט לקריאה, שמחזירה את עצמה תוך כמה קריאות מנותבות.

איך מונעים מחלונות הקשר לגדול יותר מדי במערכות רב-סוכניות?

אחרי שתגובת כלי נצרכת על ידי הסוכן, החליפו את התגובה המלאה בסיכום דחוס של 1-2 משפטים בסיבובים הבאים. לתגובות API שמחזירות אובייקטים גדולים, כתבו פרומפט דחיסה שמחלץ רק את השדות שלוגיקת המורד תתייחס אליהם. זה יכול להקטין הקשר לזרימת עבודה מ-150 אלף טוקנים ומעלה לפחות מ-50 אלף.

מהי לולאת תקציב טוקנים ולמה היא משנה?

לולאת תקציב טוקנים בודקת הוצאת סשן מצטברת לפני כל קריאת LLM ומעבירה את הסוכן למצב חסכוני - מודל קטן יותר, פרומפטים קצרים יותר, תוצרים פחות מילוליים - כשההוצאה מתקרבת לתקרה רכה. היא מונעת עלויות בלתי-נשלטות מסשנים ארוכים או משתמשים כבדים בלי לפגוע באיכות לדפוסי שימוש רגילים.

כמה ניתוב מודלים יכול לחסוך באופן ריאליסטי?

בסוכן ctxauditor שלי, ניתוב 70% מהקריאות למודל קטן יותר הפחית עלות לקריאה ב-85% לשכבה ההיא וקיצץ עלות סוכן כוללת ב-41%. התוצאות משתנות לפי עומס עבודה, אבל כל סוכן עם חלק משמעותי של קריאות חילוץ מובנות או סיווג פשוט יראה חסכונות גדולים מניתוב הקריאות האלה הרחק ממודלי דגל.

האם שווה לבנות דשבורד עלות מותאם אישית כמו LLM Cost Lens?

לכל סוכן שמעבד יותר מכמה מאות קריאות ביום, כן. בלי נתונים מדורגים על התפלגות טוקנים לפי קטע פרומפט, שיעור פגיעות מטמון, ושונות עלות לפי זרימת עבודה, אתם ממטבים בעיוורון. אפילו שכבת לוגינג בסיסית שלוכדת טוקני פרומפט, טוקני השלמה, מודל בשימוש, ומזהה סשן לכל קריאה נותנת לכם את הנתונים שאתם צריכים כדי למצוא את 5-10% זרימות העבודה שמייצרות 40-60% מהעלות.

האם כדאי לייעל עלויות לפני השקת סוכן AI או אחרי?

לפני - אפילו סשן מידול עלות של שעתיים במהלך העיצוב שווה את זה. העריכו נפח קריאות, גודל הקשר ממוצע, ופיצול שכבות מודל. שימוש אמיתי יהיה שונה, אבל תנחתו בתוך 30% מהעלויות בפועל, ותימנעו מהלם חשבונית ומתיקוני חירום. להתאים בקרות עלות למערכת פרודקשן חיה זה פי 3-4 יותר עבודה מאשר לבנות אותן פנימה מההתחלה.

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS