01 · קראו את המדריך
איך להפוך סוכני AI למוכנים לפרודקשן (מה שהמדריכים לא אומרים לכם) ←רוב סוכני ה-AI שנראים מרשימים בדמו קורסים בפרודקשן. הנה מה שבאמת עושה את ההבדל - מחלונות הקשר ועד מצבי כשל - על בסיס פריסות אמיתיות.
בדיקה קטנה אחת
בחרו מצב כישלון. הריצו את הבסיס ואת הגרסה המוגנת מול אותה פיקסציה. סימולציה עוברת היא לא ראיה שסוכן פרודקשן בטוח.
להמשיך לקרוא
- איך להפוך סוכני AI למוכנים לפרודקשן (מה שהמדריכים לא אומרים לכם)
רוב סוכני ה-AI שנראים מרשימים בדמו קורסים בפרודקשן. הנה מה שבאמת עושה את ההבדל - מחלונות הקשר ועד מצבי כשל - על בסיס פריסות אמיתיות.
- המודל הכי חכם הוא לא מה שהופך סוכני AI לאמינים
אמינות של סוכני AI מגיעה משכבה דטרמיניסטית, לא ממודל גדול יותר. שני מאמרים של Anthropic מראים שמודל זול יותר בתוספת הכלי הנכון מנצח בכל ריצה.
- אימות סוכני AI: למה הבודק מנצח את המודל
Claude כתב הוכחה של 13 מיליון שורות ב-11 ימים ואף אחד לא קרא אותה. אימות סוכני AI, לא יכולת המודל, הוא מה שהופך פלט אוטונומי לנכס.
- איך להעריך פלטי LLM: Evals ו-LLM-as-Judge בפרקטיקה
אי אפשר לשלוח פיצ'ר LLM שאי אפשר למדוד. הנה איך אני בונה evals - מסט מתויג ועד מדרגי LLM-as-judge - כדי ששינויי פרומפט יפסיקו להיות תחושות ויתחילו להיות מספרים.
- הרשאות של סוכני AI צריכות Runtime, לא פרומפט טוב יותר
OpenShell ו-Sentry של NVIDIA שמים הרשאות סוכן מחוץ למודל. מה מחסן הבטיחות החדש יכול לאכוף, מה עדיין לא הוכח, ואיך לבדוק אותו.