Qu’est-ce qu’InfiniBand XDR et pourquoi est-il important dans les réseaux d’IA

InfiniBand XDR est une solution cruciale introduite en raison de l’échelle toujours croissante des clusters d’entraînement IA et de l’augmentation rapide des échanges de données entre GPU. Pour les grandes plateformes d’entraînement comptant des dizaines de milliers de GPU, le réseau n’est plus seulement un système auxiliaire, mais une infrastructure critique qui affecte l’efficacité de l’entraînement. Dans ce contexte, l’évolution continue de la technologie InfiniBand vers une bande passante plus élevée est devenue une tendance, et InfiniBand XDR est précisément la technologie qui répond à la prochaine étape des exigences des réseaux IA.

Qu’est-ce qu’InfiniBand XDR

InfiniBand XDR est la dernière classe de vitesse de la feuille de route technologique InfiniBand, portée par NVIDIA, ciblant principalement les plateformes de calcul IA de nouvelle génération et les environnements de calcul haute performance. Par rapport au débit de port de 400 Gbps de la génération précédente NDR, XDR porte la bande passante par port à 800 Gbps, réalisant une augmentation significative de la capacité réseau.

D’un point de vue technique, XDR prolonge les principaux avantages d’InfiniBand, à savoir une faible latence, un haut débit et RDMA, tout en combinant les SerDes haut débit de nouvelle génération, les puces de commutation et la technologie d’interconnexion optique afin de fournir des capacités de prise en charge réseau plus puissantes pour les clusters GPU à très grande échelle.

En termes simples, XDR ne consiste pas seulement à doubler la vitesse ; c’est une plateforme d’interconnexion de nouvelle génération conçue pour répondre aux futurs besoins de mise à l’échelle des clusters d’IA.

Pourquoi l’entraînement de l’IA nécessite-t-il des réseaux 800G ou 1.6T

Dans les réseaux d’entreprise traditionnels, la majeure partie du trafic est un trafic nord-sud généré par les utilisateurs accédant aux serveurs. Les environnements d’entraînement IA sont entièrement différents ; leur trafic principal se produit principalement entre serveurs, c’est-à-dire un trafic est-ouest.

Pendant l’entraînement de grands modèles, de nombreux GPU doivent fréquemment échanger des gradients, des paramètres de modèle et des résultats de calcul intermédiaires. Par exemple, l’opération All-Reduce, courante dans l’entraînement distribué, génère d’importants besoins de communication entre nœuds.

À mesure que la taille des modèles passe de milliards de paramètres à des centaines de milliards, voire à des milliers de milliards de paramètres, le volume de communication réseau augmente également. Si le réseau ne peut pas synchroniser les données en temps opportun, les GPU ne peuvent qu’attendre la fin de la transmission des données, ce qui réduit l’utilisation globale.

Par conséquent, dans les clusters d’IA modernes, les performances du réseau sont aussi importantes que les performances des GPU.

Comment InfiniBand XDR améliore l’efficacité des clusters d’IA

Tout d’abord, il y a l’augmentation de la bande passante. A 1.6T XDR la liaison peut transmettre davantage de données d’entraînement dans le même laps de temps, réduisant la latence de synchronisation dans l’entraînement distribué et améliorant l’utilisation du GPU.

Deuxièmement, l’évolutivité est meilleure. À mesure que les clusters d’IA se développent, le nombre de ports de commutateur et de couches réseau augmente également. Des débits de port plus élevés signifient que moins de liaisons peuvent être utilisées pour obtenir la même bande passante, ce qui simplifie la conception de l’architecture réseau.

En outre, une bande passante plus élevée atténue les problèmes de trafic de points chauds et de congestion. Lorsque des milliers de nœuds GPU échangent des données simultanément, le réseau peut fournir des ressources de transmission plus abondantes, réduisant ainsi les fluctuations de performances.

Pour l’entraînement de grands modèles de langage, de modèles multimodaux et les tâches de calcul scientifique, ces avantages se traduisent directement par une efficacité d’entraînement accrue.

Réseaux IA InfiniBand XDR et Ethernet 

Ces dernières années, les solutions Ethernet basées sur RoCEv2 se sont développées rapidement, avec l’adoption généralisée de l’Ethernet 400G et 800G sur le marché des centres de données IA. Cependant, InfiniBand conserve encore un avantage significatif dans les scénarios d’entraînement à très grande échelle.

Tout d'abord, InfiniBand a été conçu dès le départ pour les environnements de calcul haute performance, et son mécanisme RDMA, son contrôle de congestion et ses capacités de communication agrégée ont été validés sur une longue période.

Deuxièmement, NVIDIA a construit un écosystème InfiniBand complet, comprenant des commutateurs Quantum, des cartes réseau ConnectX et la pile logicielle CUDA. Ces composants fonctionnent ensemble pour optimiser les performances de l’entraînement de l’IA.

Pour les plateformes d’IA recherchant des performances ultimes et une latence de communication minimale, InfiniBand reste la solution privilégiée pour de nombreux centres de calcul intensif et grands clusters d’entraînement d’IA.

InfiniBand XDR stimule les mises à niveau des interconnexions optiques haut débit

À mesure que les réseaux XDR sont progressivement déployés, les architectures d’interconnexion optique des centres de données seront également mises à niveau en conséquence. Les liaisons 800Gbps nécessitent des commutateurs et des modules optiques plus performants. Les modules optiques haute vitesse actuellement disponibles, tels que 800G OSFP, 800G OSFP SR8, 800G DR8 et 800G 2x FR4, deviennent progressivement des composants importants dans la construction de réseaux XDR.

Dans le même temps, le câblage en fibre optique, la conception des racks et les systèmes de refroidissement doivent également s’adapter aux exigences de déploiement d’une densité plus élevée et d’une bande passante plus importante. Il est prévisible que les mises à niveau réseau dans les centres de données d’IA au cours des prochaines années s’articuleront largement autour de l’écosystème d’interconnexion 800G.

Conclusion

Alors que la taille des modèles d’IA continue de croître, les réseaux sont devenus un facteur crucial déterminant l’efficacité de l’entraînement. En tant que dernière génération de technologie InfiniBand, XDR fournit une plateforme d’interconnexion plus efficace pour les futurs clusters GPU hyperscale grâce à sa bande passante de 800G et 1.6T, son architecture à faible latence et son excellente évolutivité. Dans l’évolution continue de l’infrastructure d’IA, XDR devrait devenir l’une des technologies clés favorisant le développement des centres de calcul intelligent de nouvelle génération.