למה InfiniBand ו-RoCE חשובים לאשכולות GPU

אימון מבוזר מסנכרן כל הזמן גרדיאנטים בין GPU (לעיתים דרך all-reduce). אם החיבור איטי או עמוס, המאיצים יושבים בטלים. InfiniBand ו-RoCE עם RDMA מעבירים נתונים עם מעורבות CPU מינימלית והשהיה נמוכה יותר מ-Ethernet רגיל לדפוסים האלה.

לכן ״חוות רשת״ או fabric מהיר הוא פריט עיצוב ראשון במעלה, לא מחשבה לאחר קניית ה-GPU.

תכננו טופולוגיה (fat-tree, rail-optimized), מפתחות מחיצה לבידוד multi-tenant, ונתיבי אחסון שרוכבים גם על ה-fabric כשאפשר. חווה בלי סיפור רשת קוהרנטי תתפקד חסר, לא משנה כמה GPU יש.