Qu’est-ce qu’InfiniBand et comment fonctionne-t-il ?

InfiniBand est une architecture réseau haute performance. Ces dernières années, elle a suscité de plus en plus d’attention en raison de la forte augmentation des modèles HPC représentés par ChatGPT. En effet, ces modèles HPC reposent sur InfiniBand développé par NVIDIA. Elle est principalement utilisée pour la transmission de données à haut débit entre systèmes et prend en charge plusieurs modes de communication. Ensuite, je vous présenterai en détail ce qu’est InfiniBand et son fonctionnement.

InfiniBand : une explication détaillée

InfiniBand est une technologie d’interconnexion à haut débit et à faible latence utilisée principalement dans les centres de données et les environnements de calcul haute performance. Elle peut fournir une architecture réseau haute performance pour les zones de service et les installations de stockage au sein d’un cluster ou d’un centre de données, ainsi que d’autres ressources réseau. Les appareils InfiniBand comprennent généralement Modules optiques InfiniBand, commutateurs InfiniBand, etc.

Comment fonctionne InfiniBand

InfiniBand utilise généralement une architecture à deux couches qui sépare la couche réseau de la couche physique et de la couche liaison de données. Chaque couche est responsable de différentes fonctions. La couche physique fournit des connexions directes point à point entre les appareils via des liaisons série à haute bande passante, tandis que la couche liaison de données gère la transmission et la réception des paquets entre les appareils. La couche réseau est responsable de la fourniture des fonctionnalités clés d’InfiniBand, telles que la QoS, la virtualisation et RDMA. La coordination entre les couches fait d’InfiniBand un outil puissant pour prendre en charge les travaux HPC nécessitant une faible latence et une bande passante élevée.

InfiniBand : explication du principe de fonctionnement

Après avoir compris ce qu’est InfiniBand, je vais vous présenter son principe de fonctionnement

RDMA : la fonction de base d’InfiniBand

Une fonction de base importante dans l’architecture InfiniBand est RDMA, qui permet aux données d’être transmises directement dans l’espace mémoire de l’application sans passer par le CPU, ce qui peut non seulement réduire la latence, mais aussi améliorer efficacement l’efficacité de fonctionnement du système. RDMA est également l’une des fonctions de base de nombreux commutateurs de centre de données.

Réseau et architecture InfiniBand

InfiniBand utilise une architecture de matrice de commutation pour interconnecter plusieurs nœuds au moyen de commutateurs. Dans une telle architecture, une communication à large bande passante et à faible latence peut être fournie entre les nœuds, ce qui convient très bien aux environnements d’application tels que le HPC. Les composants de cette structure basée sur des canaux peuvent être répartis dans les quatre catégories suivantes :

HCA(Host Channel Adapter): Il s’agit d’un adaptateur de canal hôte qui sert d’interface entre l’hôte et le réseau InfiniBand, convertissant le bus de données interne de l’hôte au format de données InfiniBand.

TCA(Target Channel Adapter): Il est utilisé pour le fonctionnement du dispositif cible au sein du réseau InfiniBand. Sa fonction principale est de gérer la réception et le traitement des données sur le dispositif cible.

Lien InfiniBand: Il désigne la connexion physique et logique entre deux nœuds du réseau InfiniBand, fournissant un canal de transmission des données et prenant en charge l’échange de données à haut débit. Il utilise généralement des supports tels que la fibre optique, le câble, ou même des liaisons embarquées au sein de l’appareil pour établir la connexion.

Commutateurs et routeurs InfiniBand: Ces dispositifs jouent un rôle important dans la mise en réseau au sein de l’infrastructure InfiniBand. Ils gèrent le routage des paquets de données entre les différents dispositifs connectés au réseau afin de permettre une communication et un échange de données fluides.

Avantage d’InfiniBand

Bande passante élevée et faible latence: InfiniBand peut fournir jusqu’à 200Gbps, voire une bande passante supérieure. Cet échange de données à haut débit est extrêmement important pour les applications et les charges de travail qui nécessitent un débit élevé, comme le HPC et le traitement du big data. InfiniBand prend également en charge la transmission directe des données entre espaces mémoire via RDMA et une architecture de matrice de commutation, maintenant la latence au niveau de la microseconde, ce qui est très important pour le HFT et le secteur financier.

Évolutivité flexible: InfiniBand est également assez évolutif, et son architecture évolutive peut répondre aux besoins changeants des centres de données. Il s'adapte aux besoins croissants des entreprises en mettant à niveau de manière transparente la capacité du réseau et prend en charge l'allocation dynamique des ressources. Son architecture peut prendre en charge l'interconnexion de milliers de nœuds afin de répondre aux besoins de calcul à différentes échelles.

Faible consommation d’énergie: InfiniBand offre des performances supérieures tout en ayant également une consommation d’énergie plus faible. Comme il utilise RDMA, la transmission des données n’a pas besoin d’être traitée par le CPU, mais est directement transférée de la mémoire d’un nœud à celle d’un autre, ce qui réduit la charge du CPU et diminue la consommation d’énergie globale. De plus, les appareils InfiniBand disposent d’accélérateurs matériels dédiés, qui peuvent être optimisés pour traiter et transmettre les données plus efficacement, réduisant ainsi la consommation d’énergie.

Haute fiabilité: InfiniBand prend également en charge la redondance multichemin et des mécanismes de reprise rapide après une panne pour garantir la fiabilité et la disponibilité de la transmission des données.

Application d’InfiniBand

InfiniBand joue aujourd’hui un rôle indispensable dans divers secteurs. Sa capacité de transmission de données à haut débit est devenue une solution clé pour de nombreux secteurs.

Applications InfiniBand dans l’intelligence artificielle

Lors de l’entraînement de modèles d’intelligence artificielle, il est nécessaire de traiter chaque jour un grand nombre d’ensembles de données. InfiniBand peut fournir des connexions réseau à haute bande passante et à faible latence pour accélérer l’entraînement des modèles. Grâce à RDMA, il peut également communiquer entre les nœuds avec une latence extrêmement faible, améliorant ainsi l’efficacité de l’entraînement.

InfiniBand dans les charges de travail HPC

InfiniBand joue également un rôle important dans les charges de travail HPC. Il peut fournir une bande passante élevée et une faible latence, et traiter une grande quantité de données en même temps, améliorant ainsi les performances globales du réseau. Il convient également aux travaux particulièrement sophistiqués, tels que le secteur financier, le diagnostic médical, etc.

Pour réseau de stockage

InfiniBand peut être utilisé dans les réseaux de stockage pour connecter des baies de stockage et des périphériques réseau afin d’assurer un accès aux données et une transmission efficaces. Il prend en charge RDMA, ce qui peut réduire la latence de l’accès au stockage et améliorer les performances des systèmes de stockage.

Émetteur-récepteur InfiniBnad de QSFPTEK

Conclusion

InfiniBand atteint les objectifs attendus grâce à une architecture unique face aux exigences croissantes en matière de bande passante réseau et de faible latence. Il répond non seulement aux exigences réseau du calcul haute performance (HPC) et des centres de données, mais apporte également une aide précieuse à l'entraînement de modèles d'intelligence artificielle tels que ChatGPT. Dans une société où la science et la technologie progressent jour après jour, il aura sans aucun doute de meilleurs scénarios d'application à l'avenir. Si vous avez des questions sur InfiniBand, n'hésitez pas à contacter les ingénieurs CCIE/HCIE de QSFPTEK à [email protected].