ConnectX-7 contre ConnectX-8 : comparaison des débits 400G et 800G pour les clusters d’IA

NVIDIA ConnectX-7 et ConnectX-8 se concentrent sur la mise en réseau haut débit pour l'IA, le calcul haute performance et les environnements de centres de données, mais ciblent différentes étapes de l'évolution des réseaux. ConnectX-7 est associé à la connectivité 400G NDR et 400GbE, tandis que ConnectX-8 étend la plateforme à 800Gb/s XDR InfiniBand et à des configurations 400GbE flexibles. Les seules vitesses des ports ne suffisent pas à tout déterminer. Toutefois, la connectivité PCIe, le protocole réseau, le format de l'émetteur-récepteur et les exigences de la charge de travail déterminent également la génération la plus adaptée à un cluster d'IA.

Que sont les NVIDIA ConnectX-7 et ConnectX-8 ? 

Qu'est-ce que la Smart NIC NVIDIA ConnectX-7 ? 

NVIDIA ConnectX-7 est un adaptateur réseau haut débit conçu pour les environnements InfiniBand et Ethernet. ConnectX-7 est disponible dans différentes configurations d’adaptateurs, notamment des modèles 400Gb/s à port unique avec des interfaces OSFP ou QSFP112, selon l’adaptateur concerné. La documentation NVIDIA répertorie des configurations à port unique prenant en charge NDR 400Gb/s et 400GbE, ainsi que d’autres configurations à vitesses inférieures. 

ConnectX-7 prend également en charge PCIe Gen5 x16, fournissant l’interface hôte nécessaire aux transferts de données haut débit entre l’adaptateur réseau et le serveur. Ses capacités le rendent adapté à l’entraînement de modèles d’IA, au HPC, aux infrastructures cloud et à d’autres charges de travail nécessitant une faible latence et un débit élevé.

Qu'est-ce que NVIDIA CX8 ?

NVIDIA ConnectX-8 est la nouvelle génération de la plateforme ConnectX et est conçue pour les réseaux d’IA et de centres de données à bande passante plus élevée. NVIDIA indique que les SuperNIC ConnectX-8 prennent en charge jusqu’à 800Gb/s de bande passante réseau totale.

Le C8180, par exemple, peut fonctionner avec un port InfiniBand XDR de 800Gb/s ou être configuré comme deux ports 400GbE. Cette distinction est importante : 800Gb/s XDR InfiniBand et 2×400GbE sont des configurations prises en charge, et non un seul port Ethernet 800GbE. ConnectX-8 prend en charge la connectivité PCIe Gen6 et est rétrocompatible avec PCIe Gen5.

ConnectX-7 contre ConnectX-8 : quelles sont les principales différences ?

La différence la plus visible entre les deux générations concerne la bande passante réseau, mais la mise à niveau implique également l’interface hôte sous-jacente et l’architecture réseau.

Bande passante réseau 400G contre 800G

ConnectX-7 est parfaitement adapté aux architectures réseau 400G. Un adaptateur ConnectX-7 à port unique peut prendre en charge 400GbE ou NDR 400Gb/s, selon le modèle et la configuration. ConnectX-8 repousse la limite à 800Gb/s dans sa configuration InfiniBand XDR. Le C8180 de NVIDIA peut également être configuré comme deux ports 400GbE, offrant une flexibilité pour différentes architectures réseau.

Pour les charges de travail d’IA, passer de 400G à 800G peut fournir jusqu’à deux fois plus de bande passante réseau par port pour les communications entre GPU. À mesure que le nombre de GPU augmente et que l’entraînement distribué génère davantage de trafic est-ouest entre les nœuds de calcul, il s’agit d’un cas d’utilisation de plus en plus pertinent.

InfiniBand NDR contre XDR

ConnectX-7 prend en charge l'InfiniBand NDR 400Gb/s, utilisant quatre voies de 100Gb/s. ConnectX-8 ajoute l'InfiniBand XDR 800Gb/s, utilisant quatre voies de 200Gb/s. Ce débit plus élevé par voie est l'une des raisons fondamentales pour lesquelles ConnectX-8 peut fournir une connectivité XDR de 800Gb/s. Pour les grands clusters d'entraînement IA, une bande passante plus élevée peut contribuer à réduire les contraintes réseau lors de charges de travail distribuées intensives.

PCIe Gen5 contre Gen6

ConnectX-7 utilise le PCIe Gen5 x16 sur les configurations d’adaptateurs haut débit prises en charge. ConnectX-8 prend en charge le PCIe Gen6 x16 et est également rétrocompatible avec le PCIe Gen5. L'interface hôte est importante, car une carte réseau haut débit doit disposer d'une bande passante suffisante entre l'adaptateur et le serveur. La mise à niveau vers une interface réseau 800Gb/s doit donc être envisagée avec la plateforme serveur, la configuration PCIe, l'architecture GPU et la conception globale du système.

Comment ConnectX-8 prend-il en charge les clusters d’IA 800G ?

NVIDIA ConnectX-8 et mise en réseau IA 800G

Le principal avantage de ConnectX-8 pour l’infrastructure d’IA de nouvelle génération réside dans sa capacité à prendre en charge une bande passante réseau supérieure tout en offrant des configurations de ports flexibles. Le C8180 prend en charge une configuration 800Gb/s XDR InfiniBand et peut également être configuré avec deux ports 400GbE. Cela rend ConnectX-8 particulièrement pertinent pour les clusters d'IA, où le trafic réseau entre les GPU et les serveurs peut devenir un facteur limitant. La mise en réseau à plus haut débit peut fournir davantage de bande passante par port haut débit, ce qui peut contribuer à simplifier la mise à l'échelle du réseau dans certaines architectures de clusters.

ConnectX-8 pour l'entraînement de l'IA à grande échelle

L’entraînement de modèles d’IA à grande échelle repose fortement sur la communication entre les GPU. Des opérations telles que la synchronisation des gradients et la communication collective peuvent générer un trafic réseau considérable au sein d’un cluster distribué.

À mesure que les performances des GPU continuent d’augmenter, la bande passante réseau peut devenir un facteur de plus en plus important dans les clusters d’IA à grande échelle. ConnectX-8 est conçu pour cet environnement et offre une connectivité 800Gb/s XDR, le PCIe Gen6 et des fonctionnalités réseau visant à améliorer les performances des clusters d’IA.

Cela ne signifie pas que chaque cluster d'IA a besoin de 800G. L'avantage réel dépend du nombre de GPU, de la charge de travail, de la topologie du réseau et de la question de savoir si le réseau existant approche déjà ses limites de bande passante.

Quand ConnectX-7 suffit-il encore pour les clusters d’IA ?  

Pour de nombreux réseaux d’IA et de HPC 400G, ConnectX-7 reste une option viable. Pour les clusters qui déploient déjà du 400G NDR ou du 400GbE, et dont les charges de travail ne saturent pas cette capacité, le passage à ConnectX-8 peut ne pas offrir suffisamment de valeur ajoutée pour justifier un renouvellement complet de l’infrastructure.

Cela peut également être pertinent lorsque la plateforme serveur, les commutateurs, les optiques ou le câblage sont conçus autour du 400G. Dans ces situations, ConnectX-7 peut fournir la bande passante requise sans introduire les exigences supplémentaires associées à un déploiement 800G.

Quels émetteurs-récepteurs et câbles fonctionnent avec ConnectX-7 et ConnectX-8 ?

Émetteurs-récepteurs et câbles 400G pour ConnectX-7   

Les configurations ConnectX-7 haut débit peuvent utiliser QSFP112 ou OSFP, selon le modèle d’adaptateur. Par exemple, NVIDIA documente des adaptateurs ConnectX-7 avec des configurations QSFP112 monop port et OSFP monop port prenant en charge la connectivité 400Gb/s. Selon la conception du réseau, des émetteurs-récepteurs optiques 400G, des DAC, des AOC et un câblage en fibre peuvent être utilisés pour connecter la NIC à des commutateurs compatibles.

Émetteurs-récepteurs et câbles 800G pour ConnectX-8

Les modèles C8180(900-9X81E-00EX-DT0) utilisent une seule cage réseau OSFP pour leur configuration 800Gb/s, tandis que les modèles C8240 utilisent deux ports QSFP112, chaque port prenant en charge jusqu’à 400GbE.  Par conséquent, un déploiement 800G doit prendre en compte non seulement la vitesse optique, mais aussi l’interface physique et le modèle spécifique de ConnectX-8. Les modules optiques 800G, DAC, AOC et l’infrastructure fibre compatibles doivent être sélectionnés en fonction de la carte réseau, du commutateur, de la distance et du protocole réseau.

Considérations relatives à la compatibilité de ConnectX-7 et ConnectX-8

La vitesse n'est pas le seul facteur à prendre en compte. Lors de la sélection d'un émetteur-récepteur ou d'un câble, vous devez vérifier le modèle du NIC, le type de port, le protocole pris en charge, la longueur d'onde optique, le débit de données, la distance de transmission, le type de connecteur et l'interface côté commutateur. Par exemple, une solution 800G OSFP destinée à un ConnectX-8 C8180 ne doit pas être automatiquement considérée comme compatible avec tous les adaptateurs ConnectX-8 ou ConnectX-7. NVIDIA répertorie différentes interfaces et configurations selon ses modèles d'adaptateurs.

ConnectX-7 ou ConnectX-8 : lequel choisir ?  

Choisissez ConnectX-7 pour les réseaux IA et HPC 400G

ConnectX-7 est un excellent choix lorsque l’architecture réseau est axée sur le 400G. Il convient aux réseaux NDR existants, aux environnements 400GbE et aux clusters d’IA ou de HPC dont les charges de travail peuvent être efficacement prises en charge par une connectivité 400Gb/s.

Cela peut également être l’option la plus pratique lorsque la mise à niveau du réseau nécessiterait autrement le remplacement des commutateurs, des émetteurs-récepteurs, des câbles et des plateformes serveur.

Choisissez ConnectX-8 pour les clusters d’IA 800G

ConnectX-8 est mieux adapté aux nouvelles infrastructures d'IA à large bande passante pouvant exploiter la connectivité 800Gb/s XDR. Il est particulièrement pertinent pour les environnements d'entraînement d'IA à grande échelle dans lesquels le trafic réseau entre les GPU et les serveurs devrait augmenter considérablement. Cependant, la décision doit être fondée sur l'architecture complète du réseau plutôt que sur la seule bande passante de la carte réseau. Les serveurs, les commutateurs, les interfaces PCIe, les émetteurs-récepteurs et le câblage doivent tous prendre en charge la configuration prévue.

Conclusion

ConnectX-7 et ConnectX-8 représentent différentes étapes des réseaux à haut débit pour les clusters d'IA et de HPC. ConnectX-7 évolue jusqu'à une connectivité de 400Gb/s et s'intègre bien à de nombreux déploiements 400G existants. ConnectX-8 étend la plateforme à l'InfiniBand XDR 800Gb/s, avec la prise en charge de PCIe Gen6 et des configurations de ports flexibles pour les infrastructures d'IA de nouvelle génération.

Pour un réseau 400G établi, ConnectX-7 peut toujours offrir le juste équilibre entre performances et exigences de l’infrastructure. Pour un nouveau cluster d’IA à grande échelle conçu autour d’un réseau 800G, ConnectX-8 offre une voie vers une capacité réseau supérieure. Dans les deux cas, la carte réseau doit être sélectionnée avec les commutateurs, émetteurs-récepteurs, câbles et interfaces serveur appropriés.