Fabric réseau
InfiniBand ou RoCEv2 tuné : le choix qui vaut 600 000 dollars
Sur un cluster GPU de taille moyenne, la décision de fabric peut faire varier le budget de six chiffres. Voici comment trancher avec des benchmarks plutôt qu’avec une préférence de marque.
Écrit par
YAPIO
Publié le
18 juil. 2026
Ce qui est réellement en jeu
Le training distribué est un problème de communication déguisé en problème de calcul. L’all-reduce des gradients synchronise chaque GPU à chaque step ; si le fabric cale, des milliers de dollars d’accélérateurs attendent le réseau. C’est pourquoi le fabric est le deuxième poste d’un devis de ferme GPU, et pourquoi la question InfiniBand contre Ethernet mérite une réponse d’ingénieur.
L’écart de prix est réel. Sur un cluster de 64 à 128 GPU, un fabric InfiniBand NDR (switches, NIC, câbles, licences) coûte couramment 40 à 60 pour cent de plus qu’un fabric Ethernet 400G équivalent pour RoCEv2. À l’échelle d’un déploiement moyen, la différence atteint l’ordre de 600 000 dollars, hors contrats de support.
Ce que « tuné » veut vraiment dire pour RoCEv2
RoCEv2 sorti du carton n’est pas un concurrent ; RoCEv2 conçu comme un fabric sans perte, si. Cela veut dire PFC configuré par classe de priorité pour éviter les pertes, ECN avec DCQCN pour signaler la congestion avant le débordement des buffers, MTU et profils de buffers corrects sur chaque switch, et firmwares NIC alignés sur tout le parc. Ratez un de ces points et le débit NCCL s’effondre sous congestion, précisément quand votre plus gros job en a besoin.
Correctement tuné, les résultats publiés et notre expérience terrain convergent : jusqu’à environ 128 GPU, RoCEv2 délivre une bande passante all-reduce à quelques pour cent d’InfiniBand pour les charges de training typiques. InfiniBand garde des avantages qui comptent à plus grande échelle : réductions in-network avec SHARP, maturité du routage adaptatif, et stack mono-fournisseur quand le job traverse des centaines de nœuds.
Une méthode de décision qui survit aux achats
Décidez sur trois entrées. L’échelle : sous 128 GPU, RoCEv2 tuné est le défaut ; au-delà de 256, InfiniBand justifie son premium ; entre les deux, benchmarkez. La charge : les fermes d’inférence et le fine-tuning mono-nœud sollicitent peu le fabric, tandis que le pretraining fréquent à grande échelle pousse vers InfiniBand. L’équipe : RoCEv2 suppose des ingénieurs réseau à l’aise avec PFC et ECN ; si cette compétence manque et n’est pas recrutée, le premium InfiniBand achète de la simplicité opérationnelle.
Quel que soit le choix, exigez des critères d’acceptation au contrat : bande passante all-reduce NCCL et cibles d’utilisation du bus à plusieurs tailles de messages, mesurées sur le cluster livré. YAPIO chiffre les deux fabrics dans chaque audit et valide le gagnant avec ces benchmarks avant transfert. Six chiffres méritent au moins cette rigueur.