Cartesia Managed Agents טוענת למקום #1 ב-benchmarks של סוכני קול: מה ה-leaderboard החי מראה ומה לא
פוסט ההשקה של Cartesia מ-29 באוקטובר אומר שפלטפורמת הקול Managed Agents מדורגת #1 מתוך 30 ב-Speech Agent Arena של Artificial Analysis ומובילה ב-EVA-Bench של ServiceNow. השוויתי את הפוסט מול עמוד ה-arena החי ו-README של EVA, ומפרט מה לבדוק לפני שמסתמכים על אחד מהמספרים.
Cartesia השיקה את Managed Agents ב-29 באוקטובר, פלטפורמת סוכני קול מקצה-לקצה לשיחות ארגוניות. פוסט ההשקה פותח עם דירוג benchmark: "#1 of 30 agents" ב-Speech Agent Arena של Artificial Analysis, וציוני הדיוק והחוויה הגבוהים ביותר ב-EVA-Bench של ServiceNow. פתחתי את עמוד ה-arena החי ואת ה-README של EVA כדי לראות איך הטענות האלה נקראות במקור. הגרסה הקצרה: ה-arena מראה את Cartesia ראשונה, אבל עם טווח ביטחון שכולל את המקום השני, ועמודת הצלחת המשימות של ה-arena עצמה לא שמה אותה ראשונה.
לא השתמשתי ב-Managed Agents, לא הרצתי EVA-Bench, ולא קראתי את עמוד המתודולוגיה של ה-arena או את מאמר EVA. טענות המוצר הן של Cartesia.
מה פוסט ההשקה אומר
- Managed Agents היא "our end-to-end voice agent platform for enterprise conversations", עם ה-harness ומודלי הקול שתוכננו יחד כך שהאזנה, תור-דיבור, הסקה, קריאת כלים ודיבור "tuned as one end-to-end system".
- היא "has already powered tens of millions of conversations in finance, retail, hospitality, and healthcare". אין לי מקור לזה מעבר לפוסט.
- Speech Agent Arena: "ranks #1 of 30 agents with a preference Elo of 1115", מדרגים אנושיים עיוורים על משימות כמו קביעת תורים והזמנת אוכל. התרשים של הפוסט מפרט, בין השאר, Gemini 3.1 Flash Live Minimal ב-1099, Gemini 3.8 Live ב-1079, Grok Voice 3.0 ב-1064 ו-GPT-Live-1 (Sol, low) ב-1041. הערת שוליים: "Benchmarks run with GPT-5.5 as the reasoning model."
- EVA-Bench: "the highest scores for both accuracy (87%) and experience (91%)". הטבלה של הפוסט נותנת Managed Agents (GPT 5.5) ב-87.4% דיוק (EVA-A) ו-90.7% חוויה (EVA-X), מול Grok Voice 3.0 ב-73.7% ו-71.2%, ו-Gemini 3.8 Live ב-45.9% ו-88.6%.
- ציטוט ממנהל מוצר בכיר של ServiceNow בפוסט קורא לזה "one of the strongest results we've seen to date".
- הערכה פנימית: "callers reported no turn-taking issues in 85% of conversations with Managed Agents, compared with 67% for other agents."
- פיצ'רים: 44 שפות (הפוסט אומר שהחלפה באמצע שיחה עובדת בין אנגלית, ספרדית, הינדי, צרפתית ויפנית, "with all 44 coming soon"), קריאות כלים, בסיסי ידע, קמפיינים יוצאים, טלפוניה.
מה עמוד ה-arena החי הראה
פתחתי את artificialanalysis.ai/speech-to-speech/arena ב-31 באוקטובר 2026. התיאור שלו: העדפה על פני שיחות קול חיות ועיוורות בנושאים כמו קביעת תור לרופא שיניים והזמנת אוכל. תצוגת Overall Preference:
| דירוג | טווח | מערכת | Elo | דגימות | שיעור הצלחת משימות |
|---|---|---|---|---|---|
| 1 | 1 עד 2 | Cartesia Managed Agents | 1111 ±29 | 685 | 91.7% |
| 2 | 1 עד 3 | Gemini 3.1 Flash Live Minimal | 1089 ±25 | 990 | 74.6% |
| 3 | 2 עד 5 | Gemini 3.8 Live | 1074 ±27 | 606 | 93.2% |
| 5 | 3 עד 6 | Grok Voice 3.0 | 1059 ±28 | 668 | 94.8% |
דברים שאני שם לב אליהם, שהם הקריאה שלי של העמוד ולא טענות של Artificial Analysis:
- העמוד מראה Elo 1111, הפוסט אומר 1115. העמוד מדרג אותה 1 עם טווח של 1 עד 2, אז תיקו על המקום הראשון נמצא בתוך האינטרוול. המספרים בלוח חי זזים כשדגימות מגיעות, אז פער קטן לא מפתיע, אבל אני לא יכול לומר מתי מספרי הפוסט נלקחו מעבר ל"אוקטובר 2026".
- בעמודת הצלחת המשימות של העמוד, Cartesia (91.7%) מתחת ל-Gemini 3.8 Live (93.2%) ו-Grok Voice 3.0 (94.8%), אם כי אינטרוולי הביטחון חופפים (Cartesia 88.3% עד 94.3%).
- העמוד מפרט 30 מערכות, מה שתואם את "of 30". הוא גם מסמן חלק מהערכים כ"Default Cascaded System", כלומר צינור סטנדרטי של ספק ולא אחד שכוונן על ידי Artificial Analysis.
- הערת השוליים של הפוסט אומרת שה-benchmarks רצו עם GPT-5.5 כמודל ההסקה, ושורת ה-EVA מתויגת "Managed Agents (GPT 5.5)". הציון הוא עבור הפלטפורמה עם אותו מודל מתחת, לא עבור מודלי הקול של Cartesia לבדם. לא ראיתי בעמוד ה-arena איזה מודל הסקה כל ערך משתמש בו.
מה ה-README של EVA אומר
מאגר EVA של ServiceNow מתאר framework קוד-פתוח שמדרג שיחות מדוברות רב-תוריות על EVA-A (דיוק: האם הסוכן השלים את המשימה נכון ונאמנה) ו-EVA-X (חוויה: טבעי, תמציתי, מתאים לדיבור). הוא משתמש בהתקנת בוט-מול-בוט בלי מאזינים אנושיים, וכולל 213 תרחישים ארגוניים על פני 3 תחומים, בתוספת תוצאות ל-12 מערכות וחבילת perturbations לרעש, מבטאים וחיבורים פגומים.
בהשוואה לפוסט:
- הפוסט אומר 200+ תרחישים. ה-README אומר 213. עקבי.
- ה-README אומר תוצאות ל-12 מערכות. הטבלה של הפוסט מפרטת 24. לא קראתי את ה-leaderboard של EVA, אז אני לא יכול לומר אם השורות האחרות של הפוסט באות מתוצאות שפורסמו על ידי ServiceNow או מריצות ש-Cartesia או אחרים הוסיפו, או אם שורת Managed Agents נמצאת על הלוח של ServiceNow. הייתי בודק לפני שמתייחסים לטבלה כשל ServiceNow.
- ה-README מתאר חבילת perturbations (רעש, מבטאים, פגיעת חיבור). הפוסט לא אומר אם התוצאות כוללות אותה.
מה הייתי בודק
אלה הצעות שלא בדקתי.
1. לפתוח את עמוד ה-arena בעצמכם ולקרוא את עמודות הטווח והצלחת המשימות, לא רק את הדירוג.
2. לבדוק את ה-leaderboard של EVA לשורת Managed Agents, ואיזה מודל הסקה והגדרות היא השתמשה בהם.
3. לשאול מה מוחזק קבוע. אותו מודל הסקה לכל שורה יהפוך את ההשוואה לנקייה יותר, והפוסט אומר ש-GPT-5.5 שימש לריצות שלו.
4. להריץ שיחות משלכם. משימות הזמנה מתסריט הן לא בירורי המדיניות שלכם או המבטאים שלכם. לבדוק עם התרחישים, הרעש וההפרעות האמיתיים שלכם.
5. להפריד איכות קול מדיוק משימות. מספרי ה-EVA של הפוסט מכסים את שניהם, אבל הם באים ממדדים שונים.
6. להתייחס ל"tens of millions of conversations" ולנתון תור-הדיבור 85% מול 67% כלא מאומתים עד ש-Cartesia מראה איך הם נמדדו.
7. לבדוק כיסוי שפות לאלה שאתם צריכים. הפוסט אומר שכל 44 הן "coming soon".
מה לא הייתי מסיק
- ש-Cartesia היא פלטפורמת סוכני הקול הטובה ביותר. טווח ה-arena כולל את המקום השני, ושיעור הצלחת המשימות שלה מתחת לאחרים בעמוד החי.
- שפער ה-benchmark מופיע בעומס העבודה שלכם.
- שטבלת ה-EVA היא של ServiceNow. לא אימתתי את זה.
- שהעמוד החי והפוסט לא מסכימים באופן משמעותי. הפרש ה-Elo קטן ולוחות מתעדכנים.
שאלות נפוצות
מה זה Cartesia Managed Agents?
לפי Cartesia, פלטפורמת סוכני קול מקצה-לקצה לשיחות ארגוניות עם טלפוניה, בסיסי ידע, אינטגרציות כלים וקמפיינים יוצאים.
האם היא באמת מספר אחת ב-Speech Agent Arena?
בעמוד החי שקראתי ב-31 באוקטובר, היא מדורגת 1 עם טווח של 1 עד 2 ו-Elo 1111. הפוסט אומר 1115 ו-"#1 of 30".
מה זה EVA-Bench?
framework קוד-פתוח של ServiceNow שמדרג שיחות סוכן מדוברות על דיוק (EVA-A) וחוויה (EVA-X), לפי ה-README שלו.
כמה תרחישים יש ב-EVA?
ה-README אומר 213 תרחישים ארגוניים על פני 3 תחומים. הפוסט אומר 200+.
איזה מודל הסקה שימש?
הערת השוליים של הפוסט אומרת GPT-5.5, ושורת ה-EVA שלו מתויגת Managed Agents (GPT 5.5).
האם היא תומכת בהרבה שפות?
הפוסט אומר 44 שפות, עם החלפה באמצע שיחה בין חמש והשאר "coming soon".
ניסית את המוצר?
לא. קראתי את פוסט ההשקה, עמוד ה-arena ו-README של EVA.
מקורות
כולם נקראו ב-31 באוקטובר 2026.
- Introducing Managed Agents (Cartesia, 29 באוקטובר 2026)
- Speech Agent Arena Leaderboard (Artificial Analysis)
- ServiceNow/eva README
לא נקראו: עמודי המתודולוגיה והסקירה של ה-arena, ה-leaderboard והמאמר של EVA, ותיעוד המוצר של Cartesia.
קריאה נוספת
- Prefix Executability: מאמר של Oracle על למה סוכן יכול להצליח ובכל זאת להישבר בדרך
מאמר של Oracle AI שהתקבל ל-NeurIPS 2026 נותן ציון לסוכנים משתמשי-כלים לפי כמה זמן כל מסלול קריאות-כלים נשאר בר-הרצה, לא רק לפי הצלחה סופית. קראתי את המאמר המלא ומסכם את המדדים, התוצאות והמגבלות שהמחברים מצהירים.
- AgentEnv של Scale AI: מה framework קוד-פתוח לסביבות RL שולח, וכמה בוגר הוא נראה
Scale Labs שחררה בקוד פתוח את AgentEnv, SDK של Python ו-CLI לבניית סביבות מכולות והמשימות שמדרגות סוכנים בתוכן. מה הפוסט טוען, מה המאגר ו-PyPI מראים, ומה הייתי בודק לפני שבונים עליו.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS