Explorer la différence entre InfiniBand EDR et Ethernet 100Gb

Avec l’expansion continue des scénarios de calcul haute performance et d’intelligence artificielle, les exigences des centres de données en matière de bande passante réseau, de latence et d’efficacité continuent d’augmenter. 100G InfiniBand et 100G Ethernet, en tant que deux technologies courantes, présentent des différences évidentes en matière de performances et de concepts architecturaux, et sont au centre des choix difficiles de nombreuses entreprises lors du déploiement de réseaux. Nous analyserons ici les caractéristiques techniques, la mise en œuvre de RDMA, les performances et les scénarios d’application de ces deux solutions afin de vous aider à clarifier vos idées et à faire le bon choix technologique pour votre entreprise.

L’infrastructure et le concept de conception d’InfiniBand et d’Ethernet

Qu’est-ce qu’InfiniBand EDR ?

InfiniBand EDR (Enhanced Data Rate) est une technologie d’interconnexion réseau conçue pour les environnements de calcul haute performance. Sa caractéristique la plus importante est son architecture hautement personnalisable, qui prend en charge la transmission de données sans copie au niveau matériel, la communication avec contournement du noyau et les mécanismes de contrôle de flux de bout en bout, ce qui se traduit par des performances de latence de l’ordre de la microseconde, voire inférieures à la microseconde, et une utilisation extrêmement élevée de la bande passante.

L’architecture réseau d’InfiniBand adopte une puce de commutation dédiée fonctionnant en tandem avec des adaptateurs de canal hôte (HCA), qui dispose d’un mécanisme de transmission sans perte et de fonctions de routage adaptatif, ce qui la rend idéale pour les clusters de supercalcul. L’architecture réseau d’InfiniBand utilise une puce de commutation dédiée fonctionnant avec des adaptateurs de canal hôte (HCA), avec des mécanismes de transport sans perte et un routage adaptatif, ce qui la rend idéale pour les clusters de supercalcul, les nœuds d’entraînement d’IA et d’autres environnements aux exigences de performances extrêmement sensibles.

Qu’est-ce qu’Ethernet ?

D’autre part, 100G Ethernet utilise une conception de réseau plus standard, s'appuyant sur des normes Ethernet bien connues et disposant de divers protocoles pour le rendre compatible, facile à utiliser et économique. Son avantage est qu'il peut être rapidement intégré aux infrastructures d'entreprise et de cloud computing existantes, en prenant en charge des déploiements distribués à grande échelle et des scénarios multi-locataires, ce qui en fait l'une des solutions les plus largement utilisées dans les centres de données et les réseaux commerciaux.

Comparaison de la mise en œuvre du protocole RDMA entre InfiniBand EDR et Ethernet 100G

La technologie Remote Direct Memory Access (RDMA) est un facteur clé pour des transferts de données efficaces, en contournant le traitement par le noyau, en réduisant la latence et en allégeant la charge du CPU. InfiniBand et Ethernet empruntent des voies technologiques différentes à cet égard.

InfiniBand prend en charge RDMA de manière native et a été conçu autour de cette technologie, en prenant en charge des mécanismes tels que le zéro copie, le contournement du noyau et les transferts sans perte grâce au contrôle de flux au niveau matériel et aux canaux virtuels. Ses HCA (Host Channel Adapters) et ses puces de commutation sont optimisés pour ce type de transmission haute performance, formant un système technologique fermé mais efficace.

Ethernet, en revanche, utilise RoCE (RDMA over Converged Ethernet) et iWARP pour assurer la capacité RDMA. RoCEv2, la solution courante, fonctionne au-dessus de la couche UDP, résolvant le problème du manque d’évolutivité dans les déploiements à grande échelle des versions antérieures, mais exige une plus grande absence de pertes du réseau sous-jacent, par exemple la nécessité d’activer des mécanismes tels que Priority Flow Control (PFC). iWARP, quant à lui, s’appuie davantage sur la pile TCP, ce qui, bien que moins exigeant pour la structure du réseau, entraîne une latence et une surcharge CPU plus élevées.

Comparaison des performances entre InfiniBand EDR et 100G Ethernet

D’après les données de référence accessibles au public, la différence de performances en matière de latence et de bande passante entre les deux solutions réseau est également plus évidente. Dans les tests utilisant OpenMPI et l’outil OSU Micro-Benchmarks, InfiniBand EDR transmet les petits paquets environ 10 % plus rapidement que RoCEv2, avec une latence moyenne de l’ordre de la microseconde ou moins. La latence Ethernet standard est généralement supérieure à 10 microsecondes en raison des limitations de la pile logicielle et des mécanismes de mise en mémoire tampon.

En termes de bande passante, InfiniBand atteint une utilisation de liaison de 99 % à une charge presque complète, grâce à ses mécanismes de routage adaptatif et de contrôle de la congestion. Bien que les performances de RoCEv2 puissent également atteindre environ 90 à 95 %, ce n’est possible que si l’environnement réseau a été optimisé pour un contrôle approfondi des flux ; sinon, il est sujet à des fluctuations de performance dues à la perte de paquets.

Différences de scénarios d’application entre InfiniBand EDR et Ethernet 100G

Dans le calcul haute performance (HPC), InfiniBand est le choix dominant, en particulier pour les tâches nécessitant une communication MPI, où la faible latence et la bande passante stable sont des avantages irremplaçables. Les scénarios d’intelligence artificielle, notamment l’entraînement distribué à grande échelle, reposent également fortement sur son efficacité extrême dans la synchronisation entre les nœuds.

Dans les scénarios de centres de données cloud, de stockage d’entreprise et de virtualisation, les avantages de RoCEv2 émergent progressivement. Il est compatible avec les architectures Ethernet existantes, s’adapte aux cadres SDN et NFV, et est capable de fournir une capacité RDMA proche de celle d’InfiniBand sans ajouter de coûts matériels supplémentaires. Par ailleurs, grâce à la prise en charge d’iSER (extension iSCSI basée sur RDMA), les entreprises peuvent construire des systèmes NAS/SAN efficaces sans avoir à migrer complètement vers une architecture InfiniBand.

Les systèmes de trading haute fréquence dans le secteur financier ont encore tendance à utiliser InfiniBand pour garantir une latence de l’ordre de la nanoseconde, tandis que, pour les environnements à charges mixtes, comme les clusters virtualisés où l’inférence IA coexiste avec l’analyse de données classique, RoCE et iWARP offrent des options plus rentables.

Conclusion

InfiniBand reste un choix incontestable lorsque des performances extrêmes sont recherchées et que les budgets sont serrés. Toutefois, dans davantage de scénarios d’entreprise où l’évolutivité et la flexibilité de déploiement sont recherchées, l’Ethernet 100G avec la technologie RDMA offre un compromis intéressant. La décision finale dépend non seulement des spécifications techniques, mais aussi de l’orientation d’évolution de votre architecture réseau actuelle et des caractéristiques de la charge métier.

Quel que soit le chemin que vous choisissez, des modules optiques fiables sont tout aussi essentiels. Les modules 100G tels que ceux fournis par QSFPTEK, dotés d’une forte compatibilité et éprouvés sur le terrain, peuvent vous aider à réaliser facilement les mises à niveau du réseau et à garantir une capacité de transmission stable et efficace sous différents systèmes technologiques.