EmbeddingGemma 2: מרחב וקטורי אחד בן 768 ממדים לטקסט, תמונות, וידאו ואודיו. ההגדרות שנכשלות בשקט
גוגל שחררה את EmbeddingGemma 2, מודל embedding מולטימודלי פתוח בן 740M פרמטרים תחת Apache 2.0. מה כרטיס המודל ומדריך המפתחים אומרים על גדלים, benchmarks, קיטום ומלכודות ה-float16 והנרמול.
EmbeddingGemma 2 מכניס טקסט, קוד, תמונות, וידאו ואודיו למרחב וקטורי אחד בן 768 ממדים, במודל פתוח שגוגל אומרת שמיועד למחשבים ניידים וטלפונים. אם אתם מריצים retrieval או RAG, השאלה המעשית היא מה עולה להריץ אותו ואיפה הוא נשבר.
המאמר הזה משתמש בכרטיס המודל ובמדריך המפתחים של גוגל. מספרי ה-benchmark הם של גוגל. לא הרצתי את המודל.
מה זה
לפי כרטיס המודל, EmbeddingGemma 2 הוא מודל embedding מולטימודלי פתוח מ-Google DeepMind עם 740M פרמטרים בסך הכל: מודל טקסט בן 270M (130M טרנספורמר ועוד 140M embedder), מקודד ויזואלי בן 170M ומקודד אודיו בן 300M. הוא בנוי על Gemma 4. מדריך המפתחים אומר שהמשקלים משוחררים תחת רישיון Apache 2.0.
גוגל מפרטת את התכונות הבאות:
- ארבע מודליות (טקסט כולל קוד, תמונות, וידאו, אודיו) במרחב אחד בן 768 ממדים.
- יותר מ-100 שפות, ושיפור של בערך 14% במשימות קוד מול EmbeddingGemma הראשון.
- חלון קונטקסט של 8K טוקנים משותף לכל המודליות.
- Matryoshka Representation Learning, כך שוקטורים ניתנים לקיטום ל-512, 256 או 128 ממדים.
- תחיליות הנחייה קצרות בטקסט שמכוונות embeddings לפי משימה.
טענו רק מה שצריך
המקודדים של הוויזיה והאודיו ניתנים להפרדה. טבלת הגדלים האפקטיביים של גוגל:
- טקסט בלבד: 270M
- טקסט ותמונה: 440M
- טקסט ואודיו: 570M
- מולטימודלי מלא: 740M
מנטרלים מקודדים בזמן הטעינה עם vision_config או audio_config מוגדרים ל-None ב-config_kwargs. גוגל אומרת שמקודדים מנוטרלים אף פעם לא נטענים, כך שהחיסכון חל על משקלים ועל זיכרון שיא. היא גם אומרת שהדרך להשמיט מקודדים שונה בין ספריות מודלים, אז בדקו את התיעוד של הספרייה שלכם.
Benchmarks, כפי שגוגל מדווחת
ב-768 ממדים, מכרטיס המודל:
- MTEB multilingual v2: 61.36, מול 61.15 ל-EmbeddingGemma 1. זה רווח קטן על טקסט.
- MTEB code v1: 78.68, מול 68.76.
- תמונה (MIEB lite): 64.64. MMEB v2 תמונה: 57.28, מסמכים ויזואליים: 67.84, וידאו: 50.67.
- שליפת אודיו (MSEB): 69.54. MAEB: 49.39.
לגרסה הראשונה אין ציונים בשורות התמונה, הווידאו והאודיו, אז אין השוואה הולמת שם. הכרטיס לא משווה מול מודלים של ספקים אחרים בחלקים שקראתי, אז אני לא יכול להגיד איך הוא מדורג בסך הכל.
קיטום: זול עד 256, לא מתחת
טבלת הקיטום של גוגל (MTEB multilingual v2 ו-MMEB v2 כללי):
| ממדים | דחיסה | MTEB multilingual | MMEB v2 |
|---|---|---|---|
| 768 | 1x | 61.36 | 59.01 |
| 512 | 1.5x | 61.17 | 58.38 |
| 256 | 3x | 60.41 | 56.24 |
| 128 | 6x | 57.89 | 45.65 |
גוגל אומרת שהאיכות קרובה לחסרת-אובדן עד 256, וש-128 מתאים לעומסי טקסט-בלבד וצריך אימות על הנתונים שלכם למולטימודלי. מדריך המפתחים נותן דוגמת אחסון: מיליון וקטורים בני 768 ממדים ב-bfloat16 תופסים בערך 1.5 GB, וב-128 ממדים בערך 250 MB.
הגדרות שנכשלות בלי שגיאה
כרטיס המודל בוטה לגבי שלוש טעויות שמייצרות פלט סביר במקום קריסה:
1. float16. גוגל אומרת שטווח האקטיבציות חורג מ-float16, אז המודל מחזיר NaN או embeddings מדורדרים בשקט. השתמשו ב-bfloat16 או float32. על רוב המעבדים, float32.
2. אין נרמול מחדש אחרי קיטום. חיתוך וקטור יחידת-אורך שובר את אורך היחידה. גוגל אומרת שדילוג על נרמול L2 מדרדר את הדירוג בשקט. העברת truncate_dim ו-normalize_embeddings=True ל-encode() מטפלת בזה.
3. ממדים מעורבים. שאילתה בת 768 ממדים לא יכולה לקבל ציון מול קורפוס בן 128 ממדים.
בנוסף, תחיליות המשימה הן לטקסט בלבד. גוגל אומרת שהשמטתן עדיין עובדת אבל מורידה דיוק. מסמכים עם כותרות צריכים פורמט title: {title} | text: {content}, ו-prompt_name="Document" מחיל title: none, אז מסמכים עם כותרת חייבים פורמט ידני.
תקציב קונטקסט בין מודליות
כל המודליות חולקות את חלון ה-8,192 טוקנים. ברירות המחדל של גוגל: בערך 280 טוקנים לתמונה (בערך 29 תמונות), 140 טוקנים לפריים וידאו (בערך 58 פריימים), ו-25 טוקנים לשניית אודיו (בערך 327 שניות). וידאו נדגם בפריים אחד לשנייה כברירת מחדל, ואודיו צריך להיות 16 kHz מונו. גוגל אומרת שתקציב טוקנים ויזואלי נמוך יותר יכול להעלות את הגבול לבערך 114 תמונות או פריימים.
איפה אפשר להריץ
מדריך המפתחים מפרט vLLM, Hugging Face Transformers, sentence-transformers, SGLang, MLX, Ollama, LMStudio ו-LiteRT, עם משקלים על Hugging Face.
מה הייתי בודק לפני שעוברים
אלה הצעות שלי שלא נבדקו.
1. הטמיעו מחדש מדגם מהקורפוס שלכם והשוו שליפה מול המודל הנוכחי. רווח של 0.21 נקודות ב-benchmark טקסט אומר מעט על הנתונים שלכם.
2. בדקו ב-256 ממדים קודם אם אחסון משנה, ואז 128 רק אם אתם טקסט-בלבד.
3. הוסיפו טסט שנכשל על וקטורי NaN או לא-יחידת-נורמה, כי שני הכשלונות שקטים.
4. מדדו זיכרון לשילוב המקודדים המדויק שאתם טוענים.
מה לא הייתי מסיק
- שהוא מנצח מודלי embedding אחרים. החלקים שקראתי לא משווים מולם.
- שהציונים המולטימודליים עוברים לסוגי התוכן שלכם.
- ש-6x פחות אחסון זה בחינם. הטבלה של גוגל עצמה מראה את הירידה ב-128 ממדים.
שאלות נפוצות
האם EmbeddingGemma 2 פתוח?
מדריך המפתחים של גוגל אומר שהמשקלים משוחררים תחת Apache 2.0.
כמה הוא גדול?
740M פרמטרים במלואו, 270M לטקסט בלבד, עם מקודד ויזואלי של 170M ומקודד אודיו של 300M שניתנים לטעינה בנפרד.
אילו ממדים הוא תומך?
768 באופן מקורי, עם קיטום Matryoshka ל-512, 256 ו-128.
אפשר להשתמש ב-float16?
גוגל אומרת שלא. היא מדווחת NaN או פלט מדורדר בשקט. השתמשו ב-bfloat16 או float32.
צריך לנרמל וקטורים קטומים?
כן, לפי גוגל. נרמלו מחדש אחרי קיטום, או העבירו normalize_embeddings=True.
האם צריך תחיליות משימה?
מומלץ לטקסט ומשפר דיוק. תמונות, וידאו ואודיו לא לוקחים תחילית.
כמה ארוכים יכולים להיות הקלטים?
8,192 טוקנים בסך הכל על פני כל המודליות בקלט אחד.
מקורות
- Google AI for Developers, כרטיס המודל EmbeddingGemma 2: ארכיטקטורה, benchmarks, טבלת קיטום, שיטות מומלצות, מגבלות קונטקסט.
- Google Developers Blog, EmbeddingGemma 2: מדריך המפתחים: רישיון, תמיכת כלים, דוגמת אחסון.
יומן הבנייה
לעקוב אחרי העבודה.
מאמרים ואבטיפוסים חדשים, ישר לקורא ה-RSS שלכם. מנויי המייל בהשהיה זמנית, עד שאחבר שירות משלוח עובד. לא נאסף כאן אימייל.
עקבו ב-RSS