Qu’est-ce que RDMA Over Converged Ethernet ?

RoCE est une technologie qui répond aux besoins des applications à large bande passante et hautes performances. Le protocole TCP/IP traditionnel présente une latence élevée et une utilisation inefficace de la bande passante, et ne peut pas répondre aux besoins croissants des réseaux ; RoCE a donc été développé. Il intègre l’accès mémoire à distance dans Ethernet grâce à la technologie RDMA, améliorant considérablement l’efficacité de la transmission des données et réduisant la latence. Cet article vous permettra de comprendre en détail ce qu’est RoCE, afin que vous puissiez en avoir une compréhension approfondie.

Qu’est-ce que le réseau RoCE

RoCE (RDMA over Converged Ethernet) est une technologie d’accès direct à la mémoire à distance (RDMA) basée sur Ethernet, conçue pour assurer une transmission de données à faible latence et à haut débit sur Ethernet sans perte. La technologie RoCE introduit la technologie RDMA utilisée dans le calcul haute performance et les réseaux dans l’infrastructure Ethernet standard, conférant à l’Ethernet traditionnel des capacités RDMA et des propriétés de calcul haute performance. Par conséquent, la technologie RoCE présente les puissants avantages à la fois d’Ethernet et de RDMA.

La technologie RoCE permet d’atteindre des performances élevées similaires à celles d’InfiniBand sur les réseaux Ethernet existants. Elle réduit la latence et augmente la bande passante en optimisant les protocoles Ethernet. Comparé à l’Ethernet traditionnel : RoCE offre une latence plus faible et un débit plus élevé tout en maintenant une compatibilité étroite avec les périphériques Ethernet existants.

Avantages de RoCE : Les principaux avantages de RoCE sont son rapport coût-efficacité et sa compatibilité. Comme il est basé sur les normes Ethernet, il peut utiliser des équipements réseau et des câbles matures disponibles sur le marché, n’est pas soumis à des restrictions liées à une seule marque ou à une région, et bénéficie d’un bon cycle d’approvisionnement ainsi que d’un bon service après-vente. L’essentiel est qu’il offre également une excellente compatibilité avec Ethernet et ses équipements, ce qui améliore considérablement la flexibilité et réduit les coûts. Par conséquent, la technologie RoCE est de plus en plus largement utilisée dans les centres de données, le stockage haute performance HPC, l’intelligence artificielle et d’autres domaines, devenant une technologie d’interconnexion rentable pour l’interconnexion des serveurs GPU. QSFPTEK fournit commutateurs L3/L3+ qui prennent en charge RoCE2.

Développement et types de RoCE

RoCE v1

En avril 2010, l’IBTA a publié RoCE. Cette norme a été publiée comme un complément à la spécification de l’architecture Infiniband, elle est donc également appelée IBoE (InfiniBand over Ethernet). À cette époque, la norme RoCE a remplacé la couche réseau TCP/IP par la couche réseau IB sur la couche liaison Ethernet ; elle ne prend donc pas en charge le routage IP, et est ainsi appelée RoCE v1.

RoCE v1 (couche 2) fonctionne sur la couche de liaison Ethernet (couche 2), donc le typeID du protocole RoCE v1 au niveau de la couche Ethernet est 0x8915, la taille de trame normale est donc de 1500 octets, et la trame Jumbo est de 9000 octets.

RoCE v1 est un protocole RDMA mis en œuvre sur la base de la couche liaison Ethernet (le commutateur doit prendre en charge des technologies de contrôle de flux telles que PFC afin d’assurer une transmission fiable au niveau de la couche physique), permettant à deux hôtes du même VLAN de communiquer.

RoCE v2

Étant donné que la trame de données de RoCE v1 ne comporte pas d’en-tête IP, elle ne peut communiquer qu’au sein du sous-réseau L2. Pour résoudre ce problème, l’IBTA a proposé RoCE V2 en 2014. RoCE v2 est une extension de RoCE v1, remplaçant le GRH (Global Routing Header) par un en-tête UDP + un en-tête IP. RoCE v2 surmonte la limitation de RoCE v1 liée à un seul VLAN. En modifiant l’encapsulation des paquets, y compris les en-têtes IP et UDP, RoCE v2 peut être utilisé sur des réseaux L2 et L3. La structure de trame étendue est illustrée dans la figure ci-dessous.

RoCE v2 (couche 3) fonctionne sur UDP/IPv4 ou UDP/IPv6 (couche 3) et utilise le port UDP 4791 pour la transmission. Comme les paquets RoCE v2 sont routables sur la couche 3, RoCE v2 peut également être appelé RoCE routable ou RRoCE en abrégé.

RoCE v2 est une évolution et une amélioration de la génération précédente RoCE v1. En introduisant une série d’améliorations, il résout efficacement les limitations initiales et améliore globalement les performances. La version de deuxième génération RoCE v2 se distingue par son amélioration significative des performances et sa plus grande flexibilité, et est devenue l’application dominante sur le marché.

Mise en œuvre de RoCE

Afin de réaliser l’interconnexion RoCE, le périphérique de carte réseau doit installer un pilote prenant en charge RoCE. Toutes les NIC Ethernet (Network Interface Cards) doivent prendre en charge les cartes adaptateur réseau RoCE (c’est-à-dire les cartes réseau RoCE). Les pilotes RoCE sont disponibles dans Red Hat, Linux, Windows et d’autres systèmes d’exploitation courants. Par conséquent, trois méthodes sont nécessaires pour mettre en œuvre les réseaux RoCE :

a. Pour les serveurs ou les périphériques hôtes, vous devez utiliser des cartes réseau RoCE pour vous connecter.

b. Pour les commutateurs réseau, choisissez d’utiliser des commutateurs qui prennent en charge les systèmes d’exploitation PFC. PFC, ou contrôle de flux prioritaire, est l’un des moyens nécessaires pour construire un Ethernet sans perte. Il peut fournir un contrôle de flux basé sur la priorité saut par saut. Cette méthode de contrôle de flux individuelle permet au réseau de rester fluide lorsque certains trafics sont congestionnés, tout en évitant les interférences avec les autres trafics, garantissant ainsi une large bande passante et une faible latence.

c. Construire une architecture Ethernet intelligente sans perte.

RoCE NIC

RoCE NIC est une carte réseau qui prend en charge le protocole RoCE. Elle utilise la technologie RDMA et intègre les fonctionnalités matérielles nécessaires. Elle peut libérer le CPU des tâches lourdes, réduisant ainsi considérablement la latence de la transmission des données et améliorant efficacement les performances de fonctionnement et la bande passante de l’ensemble du système. 

Commutateur haute performance et à large bande passante

En raison de la demande en large bande passante, RoCE nécessite souvent le support de switches hautes performances et à large bande passante. La base essentielle pour construire des switches réseau hautes performances et à large bande passante réside dans la technologie des puces de transfert du switch.

Architecture Ethernet intelligente et sans perte

En plus des ressources matérielles ci-dessus, dans le réseau RoCE, nous devons également construire une architecture Ethernet intelligente sans perte afin de garantir l’absence de perte de paquets pendant la transmission réseau.

Les réseaux intelligents sans perte utilisent la technologie de contrôle de flux et la technologie de contrôle de congestion pour améliorer le débit global du réseau et réduire la latence du réseau. D’autre part, ils utilisent des technologies telles que les réseaux de stockage intelligents sans perte pour optimiser l’intégration du réseau et des systèmes applicatifs. Selon la correspondance entre la technologie des réseaux intelligents sans perte et la pile de protocoles TCP/IP, voici le schéma de l’architecture technique du réseau intelligent sans perte :

Comparaison entre les réseaux IB et RoCE v2

Comparaison technique

D’un point de vue technique, InfiniBand utilise de nombreuses technologies pour améliorer les performances de transfert réseau, réduire le temps de récupération après panne, améliorer l’évolutivité et réduire la complexité de l’exploitation et de la maintenance.

Comparaison des scénarios d’entreprise

Performance de l’entreprise: Comme la latence de bout en bout d’InfiniBand est inférieure à celle de RoCE v2, le réseau construit sur InfiniBand présente un avantage en matière de performances métier au niveau de la couche applicative. Cependant, les performances de RoCE v2 peuvent également répondre aux exigences de performances métier de la plupart des scénarios d’informatique intelligente.

Échelle de l’entreprise: InfiniBand peut prendre en charge un seul cluster de 10 000 cartes GPU et garantir que les performances globales ne diminuent pas, et il existe de nombreux cas de pratique commerciale dans le secteur. Le réseau RoCE v2 peut prendre en charge une échelle de 1 000 cartes GPU dans un seul cluster sans réduction importante des performances globales du réseau.

Exploitation et maintenance métier: InfiniBand est plus mature que RoCE v2, notamment en ce qui concerne les capacités d’isolation multi-locataire, les capacités de diagnostic d’exploitation et de maintenance, etc.

Coût professionnel: Le coût d'InfiniBand est plus élevé que celui de RoCE v2, principalement parce que le coût des switches et modules InfiniBand est supérieur à celui des switches Ethernet.

Conclusion

RoCE comble le fossé entre le calcul haute performance et les réseaux Ethernet en intégrant les fonctions RDMA dans l’infrastructure Ethernet. Il offre une faible latence, une large bande passante et une bonne rentabilité, ce qui en fait un choix idéal pour des applications telles que les centres de données et le cloud computing. Comparé à InfiniBand, il offre une compatibilité plus large et des coûts plus faibles. Bien que RoCE soit légèrement inférieur en matière de latence et de gestion multi-locataire, il constitue une alternative très compétitive qui remet en cause la position d’InfiniBand.