Comment fonctionne la mise en réseau des centres de données IA ?

Qu’est-ce que la mise en réseau des centres de données IA ?

Un réseau de centre de données IA désigne l’infrastructure réseau du centre de données qui prend en charge les fonctions d’intelligence artificielle (IA). Le réseau qui prend en charge ces fonctions nécessite une évolutivité réseau, des performances élevées et une faible latence supérieures à celles des réseaux précédents. Les charges de travail d’IA et d’apprentissage automatique (ML) sont plus exigeantes que les tâches réseau normales, en particulier pendant les phases intensives d’entraînement de l’IA.

La communication rapide et hilarante d’InfiniBand entre les serveurs et les systèmes de stockage a fait de cette technologie de réseau une technologie propriétaire populaire pour le calcul haute performance (HPC) et les réseaux d’entraînement d’IA. Par la suite, Ethernet a gagné une forte popularité sur le marché des réseaux de centres de données d’IA en tant que solution technologique alternative ouverte et pourrait devenir la technologie dominante dans les développements futurs.

Plusieurs raisons expliquent l’attention croissante portée à Ethernet dans les réseaux de centres de données d’IA, l’efficacité opérationnelle et la maîtrise des coûts étant les premières et les plus évidentes. Sur le plan de la gestion technique, Ethernet dispose désormais d’un vaste vivier d’ingénieurs réseau capables de construire et de gérer des réseaux, tandis que l’expertise dans les réseaux InfiniBand propriétaires est plus limitée. Deuxièmement, la maîtrise des coûts constitue également une raison majeure. Pour les équipements de centres de données d’IA avec les technologies actuelles Ethernet 400Gb, le prix global est considérablement inférieur à celui des solutions InfiniBand, les équipements InfiniBand et les outils de gestion proviennent principalement de Nvidia, tandis qu’Ethernet offre un large accès aux outils de gestion de réseau.

Comment fonctionne la mise en réseau des centres de données IA ?

Outre le fait que les serveurs GPU sont déployés en grand nombre pour répondre aux énormes besoins de calcul des centres de données d’IA et que, par conséquent, le coût global augmente, les composants réseau des centres de données d’IA doivent également améliorer leur utilisation des GPU, ce qui signifie qu’ils doivent être mis en réseau plus efficacement. La mise en réseau Ethernet est une technologie ouverte éprouvée et constitue une solution adaptée aux réseaux de centres de données d’IA, pouvant être spécifiquement conçue pour les besoins de mise en réseau des charges de travail d’IA. Son architecture réseau est renforcée par la gestion de la congestion, l’équilibrage de charge et une faible latence, ce qui optimise le temps d’achèvement des tâches (JCT). La gestion simplifiée et l’automatisation contribuent également à la fiabilité du réseau et à des performances constantes.

Conception de fabric

Le réseau de centre de données IA peut utiliser diverses conceptions architecturales, mais il est recommandé de choisir une architecture Clos non bloquante any-to-any. Cette conception optimise le cadre d'entraînement en tirant parti de vitesses réseau constantes de 400 Gbps (pouvant éventuellement passer à 800 Gbps) depuis la NIC jusqu'à la feuille et au cœur de réseau. Selon la taille des GPU et la taille du modèle, une structure non bloquante à deux niveaux et trois tiers ou une structure non bloquante à trois niveaux et cinq tiers peut être mise en œuvre.

Contrôle de flux et prévention de la congestion

Outre la capacité de Fabric, d’autres considérations de conception sont essentielles pour améliorer la fiabilité et l’efficacité de l’ensemble de la Fabric. Ces considérations comprennent des interconnexions fabric correctement dimensionnées avec un nombre optimal de liaisons et la capacité de vérifier et de corriger les déséquilibres de trafic afin d’éviter la congestion et la perte de paquets. Explicit Congestion Notification (ECN), Data Center Quantified Congestion Notification (DCQCN) et Priority-Based Flow Control traitent les déséquilibres de trafic afin de garantir une transmission de données sans perte.

L’équilibrage de charge dynamique et adaptatif est déployé sur les commutateurs afin de réduire la congestion des données. L’équilibrage de charge dynamique et la redistribution locale du trafic au niveau du commutateur permettent une répartition uniforme du trafic. L’équilibrage de charge adaptatif surveille le transfert du trafic et les tables de transfert suivant afin d’identifier les déséquilibres et de détourner le trafic des chemins congestionnés.

L’ECN avertit les applications à l’avance lorsque la congestion des données est inévitable. Pendant ce temps, les commutateurs leaf et spine sont mis à jour avec des paquets compatibles ECN afin d’informer l’expéditeur de la congestion, ce qui lui permet de ralentir la transmission pour éviter la perte de paquets. Si l’expéditeur ne répond pas rapidement, le contrôle de flux basé sur les priorités (PFC) permet aux récepteurs et aux expéditeurs Ethernet de partager des informations sur la disponibilité des tampons. Enfin, en cas de congestion, les commutateurs leaf et spine mettent en pause ou limitent le trafic sur des liens spécifiques afin d’atténuer la congestion et de prévenir la perte de paquets, permettant ainsi une transmission sans perte de certaines classes de trafic.

Échelle et performances

Les solutions Ethernet sont devenues les normes ouvertes privilégiées pour gérer les applications HPC et IA. En regardant vers l'avenir (800GbE et Data Center Bridging (DCB)), la nature plus rapide, plus fiable et évolutive d’Ethernet le rend capable de répondre aux exigences de débit de données élevé et de faible latence des applications d’IA critiques.

Automatisation

L’automatisation peut aider les solutions réseau pour centres de données d’IA à boucler efficacement la boucle finale ; toutes les automatisations ne se valent pas, et pour tirer pleinement parti de la capacité réseau, les logiciels d’automatisation doivent offrir des opérations axées avant tout sur l’expérience. Elle peut jouer un rôle essentiel dans la conception, le déploiement et la gestion des centres de données d’IA. Elle permet une conception et un déploiement de centres de données d’IA reproductibles et validés en continu ; en plus d’éliminer les erreurs d’origine humaine, elle peut également exploiter les données de télémétrie et de trafic pour optimiser les performances, faciliter le dépannage proactif des défaillances et éviter les pannes réseau.

Pourquoi avez-vous besoin de réseaux de centres de données IA pour répondre aux exigences pilotées par l’IA ?

Le réseau de centre de données IA répond aux exigences induites par l’IA générative et les modèles d’IA d’apprentissage profond à grande échelle. Le développement des modèles d’IA comporte trois phases :

Phase 1 : Préparation des données - Collecte et organisation des jeux de données pour l’entraînement des modèles d’IA.

Phase 2 : entraînement de l’IA - Entraîner le modèle d’IA en l’exposant à de grandes quantités de données afin qu’il apprenne des modèles et des relations pour développer l’intelligence.

Phase 3 : Inférence IA - Application de modèles entraînés à des scénarios réels afin d’effectuer des prédictions ou de prendre des décisions sur la base de nouvelles données inconnues.

Alors que l’étape 3 exploite généralement les centres de données et les réseaux cloud existants, l’étape 2 (entraînement de l’IA) nécessite d’importantes ressources de données et de calcul pour soutenir le processus d’apprentissage itératif. Les unités de traitement graphique (GPU) sont couramment utilisées pour l’apprentissage et l’inférence de l’IA, souvent dans des configurations en cluster afin d’accroître l’efficacité. Cependant, la mise à l’échelle des clusters peut augmenter les coûts, ce qui souligne l’importance des réseaux de centres de données d’IA qui ne compromettent pas l’efficacité des clusters.

L’entraînement de grands modèles nécessite de connecter un grand nombre de serveurs GPU, parfois des dizaines de milliers, pour un coût supérieur à 400 000 $ par serveur en 2023. Par conséquent, l’optimisation des temps d’achèvement des tâches et la réduction de la latence de traîne, lorsque des charges de travail d’IA anormales ralentissent l’achèvement global des tâches, sont essentielles pour maximiser le retour sur investissement dans les GPU. Dans ce contexte, les réseaux de centres de données d’IA doivent être fiables et éviter une perte d’efficacité du cluster.

FAQ sur la mise en réseau des centres de données IA 

Quel problème le réseau de centre de données IA résout-il ?

L’intelligence artificielle présente une très forte demande en grandes quantités de données et en calcul de ressources requis pour l’IA générative et l’apprentissage profond afin de soutenir le processus itératif de développement des modèles, dans lequel les modèles d’IA apprennent et améliorent leurs paramètres à partir des données qu’ils collectent en permanence. Les processeurs graphiques sont bien adaptés aux charges de travail d’apprentissage et d’inférence de l’IA, mais en plus de construire des clusters de GPU, les grands centres de données doivent améliorer l’efficacité des modèles d’IA à mesure qu’ils étendent leurs clusters, un processus qui augmente également les coûts ; il est donc essentiel d’utiliser un réseau de centres de données d’IA qui ne compromette pas l’efficacité des clusters.

Ethernet vs. InfiniBand : lequel est le meilleur pour les réseaux de centres de données IA ?

Bien qu’InfiniBand, une technologie propriétaire, ait apporté certaines avancées et innovations à la technologie de l’IA, l’utilisation d’équipements InfiniBand est coûteuse, ne peut pas être rendue moins chère dans un marché concurrentiel de l’offre et de la demande, et doit être associée à des techniciens réseau spécialisés dans cette technologie propriétaire. La technologie Ethernet, en revanche, est la technologie réseau la plus largement utilisée au monde après la technologie IP et peut également répondre aux exigences de haut débit de données et de faible latence des applications d’IA, avec des instances 800GbE de la technologie Ethernet désormais disponibles avec des capacités améliorées de Data Center Bridging (DCB). Pour la technologie InfiniBand, principalement fournie par NVIDIA, une plus grande variété d’outils de gestion peut être utilisée pour les réseaux Ethernet que pour la technologie InfiniBand. En résumé, les fabrics Ethernet deviennent idéales pour le trafic IA hautement prioritaire et critique.