DeepInfer של DeepSeek: מה מנוע ה-inference בקוד הפתוח כולל, ומה הוא משאיר בחוץ
DeepSeek פתחה את DeepInfer, מסגרת ה-inference שמאחורי שירותי הפרודקשן שלה, תחת Apache 2.0. מה ה-README אומר שהוא תומך, דרישות החומרה וה-build, הרכיבים שהוא אומר שלא כלולים, ומה לבדוק לפני שמתכננים להגיש איתו.
DeepSeek פרסמה את DeepInfer, מסגרת ה-inference שלטענתה מפעילה את שירותי הפרודקשן בקנה מידה גדול שלה, כקוד פתוח תחת רישיון Apache 2.0. ה-README ברור לגבי הגבולות: השחרור הזה עושה offline inference למשפחת מודלים אחת, על שני סוגי חומרה, והוא משאיר בחוץ חלקים שצריך לסטאק הגשה מלא. לא בניתי או הרצתי אותו.
קראתי מקור ראשוני אחד: ה-README של המאגר ב-github.com/deepseek-ai/DeepInfer. לא פתחתי את תמונות ה-benchmark, את ה-eval README או את קוד המקור. עמוד המאגר הראה 22,092 כוכבים ותאריך יצירה של 16 באוקטובר 2026 כשקראתי אותו.
מה השחרור מכסה
לפי ה-README, המודל הנתמך הוא DeepSeek-V4.1-Flash. ה-checkpoint ברירת המחדל הוא DeepSeek-V4.1-Flash-1017 מ-Hugging Face. החומרה הנתמכת היא GPUs מסוג NVIDIA SM100 ו-NPUs מסוג Huawei Ascend 950.
תכונות מפורטות:
- Kernels ממוטבים, runtime של מודל ו-sampler, בשימוש במאגרים אחרים של DeepSeek כמו FlashMLA, DeepGEMM ו-DeepEP, בתוספת kernels מותאמים של TileLang.
- מקביליות: attention data parallel עם context parallel מאוזן, ו-expert parallelism של mixture-of-experts עם EPLB.
- DSpark ו-verification מתוזמן-לפי-ביטחון: speculative decoding עם draft tokens, בשימוש באומדני ביטחון לתזמון ה-verification.
- Decoder SWA bounded replay: שחזור רק של suffix חסום כדי להפחית עבודת prefill של ה-decoder.
- תזמון אסינכרוני, שה-README אומר שמקביל תזמון batch ב-CPU עם ביצוע במכשיר ודלוק כברירת מחדל.
- Inference בלתי-תלוי-batch ודגימה דטרמיניסטית, שניהם מסומנים NVIDIA בלבד.
- פלטים מובנים מוגבלים על ידי regex, JSON schema או דקדוק EBNF.
מה לא כלול
ה-README מפרט מה שירות inference מלא צריך שהשחרור הזה לא שולח:
- מערכת KV cache.
- הפרדת prefill ו-decode. הוא אומר שרוב הפונקציונליות הנדרשת של המנוע כבר מיושמת.
- איזון עומסים על פני רפליקות data-parallel גם ל-prefill וגם ל-decode.
זה חשוב. זה מנוע ל-offline inference, לא תחליף plug-and-play לסטאק הגשה בפרודקשן. אם אתם מתכננים להריץ אותו בסקייל תצטרכו לבנות או לשלב את שלושת החלקים האלה בעצמכם.
דרישות
ה-README מפרט Linux, GCC 13 ומעלה, Python 3.12, CUDA 13 ל-NVIDIA ו-CANN 9.2 ל-Ascend. בונים מקוד מקור עם סקריפט אחרי הגדרת ה-accelerator, ואז מריצים את דוגמת ה-offline. המודל ברירת המחדל מורד ל-cache של Hugging Face בהרצה הראשונה, או שאפשר להפנות אותו לעותק מקומי.
שתי תכונות הן כלי שחזור. Inference בלתי-תלוי-batch שומר תוצאות זהות על פני הרכבי batch שונים. דגימה דטרמיניסטית מחזירה פלטים זהים לטוקני קלט ופרמטרי דגימה זהים כשמועבר seed קבוע. שניהם צריכים משתני סביבה מוגדרים, וה-README מציין שהמצב הדטרמיניסטי מכבה אחת מהגדרות ה-speculative decoding.
ה-benchmarks
ה-README מראה תרשימי throughput של prefill ו-decode, שניהם תמונות. הוא אומר שהם נמדדו על 4 GPUs מסוג SM100 ל-prefill ו-64 ל-decode, כל אחד בתוך דומיין scale-up אחד, ומפנה לסקריפט sweep לשחזורם. לא הצלחתי לקרוא את התרשימים, אז אין לי מספרים לדווח. ההתקנה גדולה, אז הנתונים אומרים מעט על deployment של GPU בודד.
שושלת
ה-README אומר ש-DeepInfer נבנה במקור בעיקר על vLLM, עם השראה מ-SGLang ו-TensorRT-LLM, ומודה למפתחים שלהם. זה הקשר שימושי אם אתם כבר מריצים vLLM.
מה הייתי בודק
אלה הצעות שלי שלא נבדקו.
1. אשרו את החומרה שלכם. GPUs מסוג SM100 ו-Ascend 950 היא רשימה צרה. בדקו אם שלכם נתמכת לפני כל דבר אחר.
2. בדקו את רשימת המודלים. רק DeepSeek-V4.1-Flash מפורט. מודלים אחרים לא נתמכים בשחרור הזה.
3. תכננו את החלקים החסרים. החליטו איך תספקו מערכת KV cache, disaggregation ואיזון עומסים.
4. שחזרו benchmark. הריצו את סקריפט ה-sweep על התקנה קטנה יותר לפני שאתם מאמינים לתרשים כלשהו.
5. בדקו טענות דטרמיניזם. אם אתם צריכים פלטים זהים, בדקו את מסלול ה-seed הקבוע תחת גדלי ה-batch שלכם.
6. קראו את הרישיון והתלויות. הפרויקט Apache 2.0, אבל הוא מושך kernels ממאגרים אחרים. בדקו את שלהם.
מה לא הייתי מסיק
- שסטאק הפרודקשן של DeepSeek פתוח במלואו. ה-README אומר שחלקים מרכזיים לא כלולים.
- שהוא מנצח את vLLM או SGLang. לא מצאתי השוואה ישירה במה שקראתי.
- שהוא רץ על GPUs צרכניים. ה-README מפרט רק SM100 ו-Ascend 950.
- שמספר הכוכבים משקף שימוש. הוא משקף תשומת לב.
שאלות נפוצות
מהו DeepInfer?
מסגרת ה-inference של DeepSeek למודלים שלה, ששוחררה כקוד פתוח ל-offline inference.
אילו מודלים הוא תומך?
DeepSeek-V4.1-Flash, לפי ה-README.
על איזו חומרה הוא רץ?
GPUs מסוג NVIDIA SM100 ו-NPUs מסוג Huawei Ascend 950.
תחת איזה רישיון הוא?
רישיון Apache 2.0.
אפשר להגיש תעבורת פרודקשן איתו כמו שהוא?
לא לבדו. ה-README אומר שמערכת KV cache, הפרדת prefill ו-decode ואיזון עומסים על פני רפליקות לא כלולים.
האם הוא תומך בפלט מובנה?
כן. הוא יכול להגביל יצירה ל-regex, JSON schema או דקדוק EBNF.
האם הוא מבוסס על vLLM?
ה-README אומר שהוא נבנה במקור בעיקר על vLLM, עם השראה מ-SGLang ו-TensorRT-LLM.
מקורות
- DeepSeek-AI, DeepInfer repository README (נקרא ב-25 באוקטובר 2026): מודל נתמך, חומרה, תכונות, החרגות, דרישות ושושלת. תמונות ה-benchmark, ה-eval README וקוד המקור לא נקראו.
קריאה נוספת
- אב-הטיפוס dsh-superagent של DeepSeek: איך עובד עיצוב ה-Ticket, ה-Mandate וה-Executor, ומה עדיין קוד מחקר
הצוות של DeepSeek פרסם את dsh-superagent ב-31 באוקטובר, סוכן קוד פרואקטיבי עבור מאגר GitHub אחד. קראתי את תיעוד המאגר על הרשאה, הרצה ופילוסופיה כדי להפריד בין העיצוב לסיקור התקשורתי.
- DeepSeek Harness 0.2.1: מה הערות השחרור ועמוד הבטיחות אומרים לפני שמתקינים תוסף
DeepSeek Harness (dsh) הוא harness סוכנים מבוסס-תוספים ברישיון MIT, ב-developer preview. מה ה-README, SAFETY.md והערות השחרור של 0.2.1 אומרים, מה השתנה לכותבי תוספים, ומה לבדוק קודם.
- DeepSeek-V4.1-Flash-1017: מחירים, benchmarks ותאריך החיוב של Search ו-Fetch שכדאי לעקוב אחריו
DeepSeek שחררה את V4.1-Flash-1017 עם משקלים ברישיון MIT, תמחור Flash חדש ו-APIs פתוחים של Search ו-Fetch. מה ה-release note, כרטיס המודל ועמוד התמחור של DeepSeek מצהירים, ומה לבדוק לפני מעבר.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS