דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-10-25·7 דק׳

DeepInfer של DeepSeek: מה מנוע ה-inference בקוד הפתוח כולל, ומה הוא משאיר בחוץ

DeepSeek פתחה את DeepInfer, מסגרת ה-inference שמאחורי שירותי הפרודקשן שלה, תחת Apache 2.0. מה ה-README אומר שהוא תומך, דרישות החומרה וה-build, הרכיבים שהוא אומר שלא כלולים, ומה לבדוק לפני שמתכננים להגיש איתו.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

DeepSeek פרסמה את DeepInfer, מסגרת ה-inference שלטענתה מפעילה את שירותי הפרודקשן בקנה מידה גדול שלה, כקוד פתוח תחת רישיון Apache 2.0. ה-README ברור לגבי הגבולות: השחרור הזה עושה offline inference למשפחת מודלים אחת, על שני סוגי חומרה, והוא משאיר בחוץ חלקים שצריך לסטאק הגשה מלא. לא בניתי או הרצתי אותו.

קראתי מקור ראשוני אחד: ה-README של המאגר ב-github.com/deepseek-ai/DeepInfer. לא פתחתי את תמונות ה-benchmark, את ה-eval README או את קוד המקור. עמוד המאגר הראה 22,092 כוכבים ותאריך יצירה של 16 באוקטובר 2026 כשקראתי אותו.

מה השחרור מכסה

לפי ה-README, המודל הנתמך הוא DeepSeek-V4.1-Flash. ה-checkpoint ברירת המחדל הוא DeepSeek-V4.1-Flash-1017 מ-Hugging Face. החומרה הנתמכת היא GPUs מסוג NVIDIA SM100 ו-NPUs מסוג Huawei Ascend 950.

תכונות מפורטות:

  • Kernels ממוטבים, runtime של מודל ו-sampler, בשימוש במאגרים אחרים של DeepSeek כמו FlashMLA, DeepGEMM ו-DeepEP, בתוספת kernels מותאמים של TileLang.
  • מקביליות: attention data parallel עם context parallel מאוזן, ו-expert parallelism של mixture-of-experts עם EPLB.
  • DSpark ו-verification מתוזמן-לפי-ביטחון: speculative decoding עם draft tokens, בשימוש באומדני ביטחון לתזמון ה-verification.
  • Decoder SWA bounded replay: שחזור רק של suffix חסום כדי להפחית עבודת prefill של ה-decoder.
  • תזמון אסינכרוני, שה-README אומר שמקביל תזמון batch ב-CPU עם ביצוע במכשיר ודלוק כברירת מחדל.
  • Inference בלתי-תלוי-batch ודגימה דטרמיניסטית, שניהם מסומנים NVIDIA בלבד.
  • פלטים מובנים מוגבלים על ידי regex, JSON schema או דקדוק EBNF.

מה לא כלול

ה-README מפרט מה שירות inference מלא צריך שהשחרור הזה לא שולח:

  • מערכת KV cache.
  • הפרדת prefill ו-decode. הוא אומר שרוב הפונקציונליות הנדרשת של המנוע כבר מיושמת.
  • איזון עומסים על פני רפליקות data-parallel גם ל-prefill וגם ל-decode.

זה חשוב. זה מנוע ל-offline inference, לא תחליף plug-and-play לסטאק הגשה בפרודקשן. אם אתם מתכננים להריץ אותו בסקייל תצטרכו לבנות או לשלב את שלושת החלקים האלה בעצמכם.

דרישות

ה-README מפרט Linux, GCC 13 ומעלה, Python 3.12, CUDA 13 ל-NVIDIA ו-CANN 9.2 ל-Ascend. בונים מקוד מקור עם סקריפט אחרי הגדרת ה-accelerator, ואז מריצים את דוגמת ה-offline. המודל ברירת המחדל מורד ל-cache של Hugging Face בהרצה הראשונה, או שאפשר להפנות אותו לעותק מקומי.

שתי תכונות הן כלי שחזור. Inference בלתי-תלוי-batch שומר תוצאות זהות על פני הרכבי batch שונים. דגימה דטרמיניסטית מחזירה פלטים זהים לטוקני קלט ופרמטרי דגימה זהים כשמועבר seed קבוע. שניהם צריכים משתני סביבה מוגדרים, וה-README מציין שהמצב הדטרמיניסטי מכבה אחת מהגדרות ה-speculative decoding.

ה-benchmarks

ה-README מראה תרשימי throughput של prefill ו-decode, שניהם תמונות. הוא אומר שהם נמדדו על 4 GPUs מסוג SM100 ל-prefill ו-64 ל-decode, כל אחד בתוך דומיין scale-up אחד, ומפנה לסקריפט sweep לשחזורם. לא הצלחתי לקרוא את התרשימים, אז אין לי מספרים לדווח. ההתקנה גדולה, אז הנתונים אומרים מעט על deployment של GPU בודד.

שושלת

ה-README אומר ש-DeepInfer נבנה במקור בעיקר על vLLM, עם השראה מ-SGLang ו-TensorRT-LLM, ומודה למפתחים שלהם. זה הקשר שימושי אם אתם כבר מריצים vLLM.

מה הייתי בודק

אלה הצעות שלי שלא נבדקו.

1. אשרו את החומרה שלכם. GPUs מסוג SM100 ו-Ascend 950 היא רשימה צרה. בדקו אם שלכם נתמכת לפני כל דבר אחר.

2. בדקו את רשימת המודלים. רק DeepSeek-V4.1-Flash מפורט. מודלים אחרים לא נתמכים בשחרור הזה.

3. תכננו את החלקים החסרים. החליטו איך תספקו מערכת KV cache, disaggregation ואיזון עומסים.

4. שחזרו benchmark. הריצו את סקריפט ה-sweep על התקנה קטנה יותר לפני שאתם מאמינים לתרשים כלשהו.

5. בדקו טענות דטרמיניזם. אם אתם צריכים פלטים זהים, בדקו את מסלול ה-seed הקבוע תחת גדלי ה-batch שלכם.

6. קראו את הרישיון והתלויות. הפרויקט Apache 2.0, אבל הוא מושך kernels ממאגרים אחרים. בדקו את שלהם.

מה לא הייתי מסיק

  • שסטאק הפרודקשן של DeepSeek פתוח במלואו. ה-README אומר שחלקים מרכזיים לא כלולים.
  • שהוא מנצח את vLLM או SGLang. לא מצאתי השוואה ישירה במה שקראתי.
  • שהוא רץ על GPUs צרכניים. ה-README מפרט רק SM100 ו-Ascend 950.
  • שמספר הכוכבים משקף שימוש. הוא משקף תשומת לב.

שאלות נפוצות

מהו DeepInfer?

מסגרת ה-inference של DeepSeek למודלים שלה, ששוחררה כקוד פתוח ל-offline inference.

אילו מודלים הוא תומך?

DeepSeek-V4.1-Flash, לפי ה-README.

על איזו חומרה הוא רץ?

GPUs מסוג NVIDIA SM100 ו-NPUs מסוג Huawei Ascend 950.

תחת איזה רישיון הוא?

רישיון Apache 2.0.

אפשר להגיש תעבורת פרודקשן איתו כמו שהוא?

לא לבדו. ה-README אומר שמערכת KV cache, הפרדת prefill ו-decode ואיזון עומסים על פני רפליקות לא כלולים.

האם הוא תומך בפלט מובנה?

כן. הוא יכול להגביל יצירה ל-regex, JSON schema או דקדוק EBNF.

האם הוא מבוסס על vLLM?

ה-README אומר שהוא נבנה במקור בעיקר על vLLM, עם השראה מ-SGLang ו-TensorRT-LLM.

מקורות

  • DeepSeek-AI, DeepInfer repository README (נקרא ב-25 באוקטובר 2026): מודל נתמך, חומרה, תכונות, החרגות, דרישות ושושלת. תמונות ה-benchmark, ה-eval README וקוד המקור לא נקראו.

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS