InfiniBand או RoCEv2 מכוונן: הבחירה ששווה 600,000 דולר

אימון מבוזר הוא בעיית תקשורת בתחפושת של בעיית חישוב. ה-all-reduce של גרדיאנטים מסנכרן כל GPU בכל צעד; אם ה-fabric נתקע, מאיצים בשווי אלפי דולרים מחכים לרשת. לכן ה-fabric הוא הסעיף השני בגודלו בהצעת מחיר לחוות GPU, ולכן שאלת InfiniBand מול Ethernet ראויה לתשובה הנדסית.

פער המחיר אמיתי. באשכול של 64 עד 128 GPU, fabric מסוג InfiniBand NDR (מתגים, NIC, כבלים, רישיונות) עולה בדרך כלל 40 עד 60 אחוז יותר מ-fabric Ethernet 400G שקול ל-RoCEv2. בפריסה בינונית, ההפרש מגיע לסדר גודל של 600,000 דולר, לפני חוזי תמיכה.

RoCEv2 ישר מהקופסה אינו מתחרה; RoCEv2 מהונדס כ-fabric ללא אובדן, כן. זה אומר PFC מוגדר לפי priority class למניעת אובדן, ECN עם DCQCN כדי לאותת עומס לפני שהבאפרים עולים על גדותיהם, MTU ופרופילי באפרים נכונים בכל מתג, וקושחות NIC מיושרות בכל הצי. פספסו אחד מאלה ותפוקת NCCL קורסת תחת עומס בדיוק כשהמשימה הגדולה ביותר צריכה אותה.

כשהוא מכוונן כראוי, תוצאות מפורסמות והניסיון שלנו בשטח מסכימים: עד בערך 128 GPU, RoCEv2 מספק רוחב פס all-reduce בטווח אחוזים בודדים מ-InfiniBand לעומסי אימון טיפוסיים. ל-InfiniBand נשארים יתרונות שחשובים בקנה מידה גדול יותר: רדוקציות בתוך הרשת עם SHARP, בשלות ניתוב אדפטיבי, ומחסנית ספק-יחיד כשהמשימה חוצה מאות צמתים.

החליטו לפי שלושה קלטים. קנה מידה: מתחת ל-128 GPU, RoCEv2 מכוונן הוא ברירת המחדל; מעל 256, InfiniBand מצדיק את הפרמיה; באמצע, עשו benchmark. עומס: חוות הסקה ו-fine-tuning חד-צמתי בקושי מעמיסים על ה-fabric, בעוד pretraining תדיר בקנה מידה גדול דוחף ל-InfiniBand. צוות: RoCEv2 מניח מהנדסי רשת שנוח להם עם PFC ו-ECN; אם הכישור חסר ולא מגייסים אותו, פרמיית InfiniBand קונה פשטות תפעולית.

מה שלא תבחרו, דרשו קריטריוני קבלה בחוזה: רוחב פס all-reduce של NCCL ויעדי ניצול bus בכמה גדלי הודעות, נמדדים על האשכול שנמסר. YAPIO מתמחרת את שני ה-fabrics בכל ביקורת ומאמתת את הזוכה עם ה-benchmarks האלה לפני המסירה. שש ספרות ראויות לפחות לרמת קפדנות כזו.