דלגו לתוכן
גיליון 001·חי·20:20 IL
→ יומן/2026-10-26·9 דק׳

TorchTPU בקוד פתוח: מה גוגל ומטא אומרות שהרצת PyTorch נייטיב על TPUs נראית ככה

גוגל ומטא שחררו את TorchTPU, backend נייטיב של PyTorch ל-TPUs, ב-20 באוקטובר. מה ההכרזות טוענות על eager mode, torch.compile, כיסוי מודלים ואינטגרציות vLLM, SGLang ו-Hugging Face, בתוספת המגבלות שפוסט PyTorch מודה בהן.

מאת Harel Asaf·בונה בינה מלאכותית·תל אביב

גוגל שחררה את TorchTPU בקוד פתוח ב-20 באוקטובר, בכנס PyTorch 2026. זה backend של PyTorch ל-Google TPUs, בנוי עם צוות PyTorch במטא, שמטרתו לתת לכם להעביר מודל מ-GPU ל-TPU על ידי שינוי שם ה-device. מספרי הכיסוי והמהירות באים מהפוסטים של גוגל ושל PyTorch Foundation עצמם, ולא הרצתי את הקוד.

קראתי שני מקורות ראשוניים: TorchTPU is now open source של Google Cloud ו-Introducing TorchTPU של בלוג PyTorch. קראתי את פוסט PyTorch דרך סעיפי הארכיטקטורה והתוצאות, אבל לא כל חלק. לא פתחתי את מאגר ה-GitHub או מאמר ה-arXiv המקושר.

מה זה

לפי פוסט PyTorch, TorchTPU התחיל בגוגל באמצע 2025 עם צוות PyTorch במטא. הוא מחליף את הגישה הישנה, PyTorch/XLA מ-2020, שהפוסט אומר שהצריכה שינויי קוד פולשניים, הייתה עם latency חמור בזמן קומפילציה, חסרה הרצת eager ופיגרה אחרי תכונות PyTorch חדשות.

העקרונות המוצהרים: בלי תלות JAX ב-runtime, eager mode מוצק, torch.compile בנוי על Dynamo, תמיכה בכלי PyTorch מבוזרים כמו DDP, FSDP ו-DTensor, וצעד porting פשוט כמו שינוי model.to("cuda") ל-model.to("tpu"). הפוסט מוסיף שזה יריץ מודל אבל לא יגיע לביצועי TPU שיא, כי shapes, sharding ופעולות עלולים להעדיף GPUs.

מה פוסט PyTorch אומר שהוא תומך היום

  • מצבי eager ו-compiled, כולל מצב חדש בשם DeferAndFuse שדוחה וממזג פעולות לחתיכות גדולות יותר. הפוסט אומר שהוא יכול להיות מהיר ב-50% ומעלה מ-eager קפדני ולהשתמש בפחות זיכרון שיא.
  • כ-450 פעולות Aten, עם forward ו-backward לפעולות הליבה שהארכיטקטורות הגדולות צריכות.
  • Kernels מותאמים דרך JAX/Pallas וה-DSL של Helion.
  • DTensor sharding, inference רב-host עם vLLM ו-SGLang, ואימון עם TorchTitan, מתואם עם Ray.
  • תאימות ל-Hugging Face Transformers v5, Diffusers ו-Kernels.

הפוסט אומר שהוא בשימוש ייצור ל-inference ואימון על ידי כמה מלקוחות Google Cloud הגדולים ביותר. הוא לא מזכיר לקוחות בשם, אז אני לא יכול לבדוק את זה.

מספרי כיסוי

הפוסט נותן את התוצאות האלה נכון לזמן הכתיבה:

מדדתוצאה
המודלים המורדים ביותר, רץ בלי קריסה98%, 4,821 מתוך 4,917
ארכיטקטורות מייצגות, שוויון מספרי עם GPU97%, 638 מתוך 657
דינמיות חסומה, נומריקה נכונה על LLMs סיבתיים99%, 834 מתוך 839
Prefill על שבב TPU v7 יחיד, אורך רצף 5,120כ-25.7k טוקנים לשנייה, 59% MFU
Prefill על שבב TPU v7 יחיד, אורך רצף 10,240כ-22.4k טוקנים לשנייה, 51% MFU

"רץ בלי קריסה" הוא לא "רץ מהר", והשוויון נמדד מול פלט GPU. אלה הבדיקות של הכותבים עצמם על מודלים שהם בחרו מדירוג הורדות.

מגבלות שהפוסט קובע

החלק הזה שווה קריאה מקרוב, כי הוא כן:

  • TPU נגיש רק לתהליך user-space אחד, אז colocation של RL לא עובד מן הקופסה. הכותבים אומרים שהם חוקרים דרכי עקיפה.
  • XLA מניח שצורות טנסור ידועות בזמן קומפילציה. TorchTPU מוסיף דינמיות חסומה, שבה רק צורות מקסימליות חייבות להיות ידועות, כדי להפחית קומפילציה מחדש.
  • כברירת מחדל כל פעולת collective מתקמפלת במודול משלה, שהפוסט אומר שיכול לעלות 30 עד 40% מקצה לקצה בהשוואה לאפשרות המהירה יותר שנותנת לקומפיילר לחפוף חישוב ותקשורת.
  • הגעה לביצועי שיא עדיין צריכה shapes רחבים מספיק למלא את יחידות המטריצות של ה-TPU.

הכרזות Google Cloud סביבו

פוסט Google Cloud מוסיף אינטגרציות. התייחסו לכולו כתיאור של גוגל:

  • Hugging Face. ב-Transformers v5, פריסה ל-TPU היא device_map="tpu", עם בדיקת TPU לילית של חבילת Transformers.
  • vLLM ו-SGLang. Backends נייטיב של PyTorch, בנויים עם Inferact ו-RadixArk, שגוגל אומרת ששומרים על schedulers ושרתי API של upstream.
  • llm-d 1.0. שוחרר עם Red Hat, IBM וקהילה שגוגל מעריכה ביותר מ-500 תורמים ו-25 ארגונים, כפרויקט CNCF Sandbox עם ניתוב מודע-prefix-cache. ציטוט לקוח טוען לתפוקה מצרפית גבוהה ביותר מ-4 פעמים על GKE; זו טענת הלקוח.
  • TorchTitan ו-VeRL. מתכוני TorchTitan מאומתים על עד 8,000 TPUs של Ironwood, ו-backend VeRL ל-TPU מתוייג כ-preview.
  • Ray, LiteRT וחבילת סוכני TPU. תיאום Ray על פני CPUs, GPUs ו-TPUs, LiteRT מצטרף לאקוסיסטם של PyTorch, וחבילת סוכנים ב-early-preview ב-GitHub ל-onboarding וכוונון.

מה הייתי בודק

אלה ההצעות שלי שלא בדקתי.

1. להריץ את המודל שלכם. מספר ה-98% הוא על פני מודלים פופולריים. שלכם עלול להשתמש בפעולות מותאמות.

2. למדוד מהירות, לא רק שהוא רץ. להשוות עלות לטוקן או צעד מול בקרת ה-GPU שלכם אחרי כוונון shapes.

3. לבדוק shapes דינמיים. אם אצווה או אורך רצף שלכם משתנים, בדקו התנהגות קומפילציה מחדש.

4. להסתכל על הגדרת ה-collectives אם אתם מאמנים על פני שבבים, בהתחשב במספר ה-30 עד 40%.

5. לבדוק צרכי RL. אם אתם מסתמכים על colocation של מאמן ו-sampler על device אחד, מגבלת התהליך היחיד משנה.

6. לבדוק זמינות ומחיר של דורות ה-TPU שאתם צריכים על Google Cloud. לא קראתי דבר על זה.

מה לא הייתי מסיק

  • ש-TPUs עכשיו משתווים ל-GPUs לכל עומס עבודה של PyTorch. הכותבים אומרים ש-shapes ופעולות עדיין משנים.
  • שטענת הייצור מאושרת באופן עצמאי. לא מוזכרים לקוחות.
  • ש-porting של שורה אחת נותן ביצועים טובים. הפוסט אומר שהוא רק נותן מודל עובד.
  • שכל אינטגרציה מוכנה לייצור. VeRL מתוייג preview, וחבילת הסוכנים היא early preview.

שאלות נפוצות

מהו TorchTPU?

Backend נייטיב של PyTorch ל-Google TPUs, שפותח על ידי גוגל עם צוות PyTorch של מטא ושוחרר כקוד פתוח.

איך הוא שונה מ-PyTorch/XLA?

לפי פוסט PyTorch, הוא תומך ב-eager mode, משתמש ב-torch.compile מבוסס-Dynamo, ונמנע משינויי הקוד הפולשניים וזמני הקומפילציה הארוכים של PyTorch/XLA.

איך אני מריץ מודל על TPU?

הפוסט אומר ש-porting צריך להיות פשוט כמו שימוש ב-model.to("tpu"), אם כי ביצועי שיא צריכים כוונון.

האם הוא עובד עם מודלי Hugging Face?

גוגל אומרת שמודלי Transformers v5 נפרסים עם device_map="tpu", ופוסט PyTorch מדווח על הרצה מן הקופסה על 5,000 המודלים המורדים ביותר ב-Hub.

האם הוא עובד עם vLLM ו-SGLang?

כן, לפי שני הפוסטים, דרך backends נייטיב של PyTorch.

מה המגבלות העיקריות?

תהליך יחיד לכל device TPU, הנחות צורה סטטית שמטופלות עם דינמיות חסומה, ומצב collectives ברירת מחדל עם עלות מדווחת של 30 עד 40%.

האם הוא מוכן לייצור?

פוסט PyTorch אומר שהוא בשימוש ייצור על ידי כמה לקוחות Google Cloud גדולים, בלי לציין אותם. בדקו את עומס העבודה שלכם.

מקורות

קריאה נוספת

יומן הבנייה

לעקוב אחרי העבודה.

מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.

עקבו ב-RSS