¿Cómo funciona la red de centros de datos de IA?

¿Qué es la red de centros de datos de IA?

La red de un centro de datos de IA se refiere a la infraestructura de red del centro de datos que satisface las funciones de inteligencia artificial (IA). La red que satisface estas funciones requiere mayor escalabilidad de red, alto rendimiento y baja latencia que las redes anteriores. Las cargas de trabajo de IA y aprendizaje automático (ML) son más exigentes que las tareas de red normales, especialmente durante las fases intensivas de entrenamiento de IA.

La comunicación rápida y divertida de InfiniBand entre servidores y sistemas de almacenamiento convirtió a esta tecnología de red en una tecnología propietaria popular para la computación de alto rendimiento (HPC) y las redes de entrenamiento de IA. Posteriormente, Ethernet ha ganado una tracción significativa en el mercado de redes de centros de datos de IA como una solución tecnológica alternativa abierta y puede convertirse en la tecnología dominante en desarrollos futuros.

Existen varias razones para el creciente enfoque en Ethernet en las redes de centros de datos de IA, siendo la eficiencia operativa y el control de costos las primeras y más evidentes. En el aspecto de la gestión técnica, Ethernet cuenta ahora con una gran cantidad de ingenieros de redes capaces de construir y gestionar redes, mientras que la experiencia en redes InfiniBand propietarias es más limitada. En segundo lugar, el control de costos también es una razón importante. Para los equipos de centros de datos de IA con los actuales Ethernet de 400Gb, el precio general es considerablemente más barato que las soluciones InfiniBand; los equipos InfiniBand y las herramientas de gestión se obtienen principalmente a través de Nvidia, mientras que Ethernet cuenta con amplio acceso a herramientas de gestión de red.

¿Cómo funciona la red de centros de datos de IA?

Además de que los servidores GPU se están implementando en grandes cantidades para satisfacer las enormes demandas de computación de los centros de datos de IA y, por lo tanto, el coste global está aumentando, los componentes de red de los centros de datos de IA también necesitan mejorar la utilización de las GPU, lo que significa que deben estar conectados en red de forma más eficiente. Las redes Ethernet son una tecnología abierta probada y son una solución adecuada para redes de centros de datos de IA que pueden diseñarse específicamente para las necesidades de conexión en red de las cargas de trabajo de IA. Su arquitectura de red se mejora mediante la gestión de la congestión, el equilibrio de carga y la baja latencia, lo que optimiza el tiempo de finalización de trabajos (JCT). La gestión simplificada y la automatización también contribuyen a la fiabilidad de la red y a un rendimiento constante.

Diseño de fabric

La red de centros de datos de IA puede utilizar una variedad de diseños arquitectónicos, pero se sugiere elegir una arquitectura Clos sin bloqueo de cualquiera a cualquiera. Este diseño optimiza el marco de entrenamiento al aprovechar velocidades de red constantes de 400 Gbps (posiblemente aumentando a 800 Gbps) desde la NIC hasta la hoja y la red troncal. En función del tamaño de las GPU y del tamaño del modelo, se puede implementar una estructura sin bloqueo de dos niveles y tres capas, o una estructura sin bloqueo de tres niveles y cinco capas.

Control de flujo y evitación de congestión

Además de la capacidad de Fabric, otras consideraciones de diseño son fundamentales para mejorar la fiabilidad y la eficiencia del Fabric general. Estas consideraciones incluyen interconexiones de fabric dimensionadas adecuadamente con un número óptimo de enlaces y la capacidad de comprobar y corregir desequilibrios de tráfico para evitar la congestión y la pérdida de paquetes. Explicit Congestion Notification (ECN), Data Center Quantified Congestion Notification (DCQCN) y Priority-Based Flow Control abordan los desequilibrios de tráfico para garantizar una transmisión de datos sin pérdidas.

El equilibrio de carga dinámico y adaptativo se implementa en los switches para reducir la congestión de datos. El equilibrio de carga dinámico y la redistribución del tráfico localmente en el switch dan como resultado una distribución uniforme del tráfico. El equilibrio de carga adaptativo supervisa el reenvío de tráfico y las tablas de próxima transferencia para identificar desequilibrios y desviar el tráfico de las rutas congestionadas.

ECN notifica a las aplicaciones con antelación cuando la congestión de datos es inevitable. Durante este tiempo, los leafs y spines se actualizan con paquetes habilitados para ECN para informar al remitente de la congestión, lo que permite al remitente reducir la velocidad de transmisión para evitar la pérdida de paquetes. Si el remitente no responde con prontitud, el control de flujo basado en prioridades (PFC) permite que los receptores y remitentes Ethernet compartan información sobre la disponibilidad del búfer. Finalmente, durante la congestión, los switches leaf y spine pausan o limitan el tráfico con enlaces específicos para aliviar la congestión y evitar la pérdida de paquetes, lo que permite la transmisión sin pérdidas de clases de tráfico particulares.

Escalabilidad y rendimiento

Las soluciones Ethernet se han convertido en los estándares abiertos preferidos para gestionar aplicaciones HPC y de IA. De cara al futuro (800GbE y Data Center Bridging (DCB)), la naturaleza más rápida, fiable y escalable de Ethernet la hace capaz de manejar los requisitos de alto rendimiento de datos y baja latencia de las aplicaciones de IA de misión crítica.

Automatización

La automatización puede ayudar a las soluciones de red para centros de datos de IA a completar eficazmente el ciclo final; no toda la automatización es igual, y para aprovechar el valor total de la capacidad de la red, el software de automatización debe ofrecer operaciones centradas en la experiencia. Puede ser inglés en el diseño, la implementación y la gestión de centros de datos de IA. Permite un diseño y una implementación de centros de datos de IA repetibles y continuamente validados; además de eliminar errores causados por humanos, también puede aprovechar la telemetría y los datos de tráfico para optimizar el rendimiento, facilitar fallos proactivos para solucionar problemas y evitar interrupciones de la red.

¿Por qué necesita redes de centros de datos de IA para satisfacer las demandas impulsadas por la IA?

La red del centro de datos de IA cumple con los requisitos impulsados por la IA generativa y los modelos de IA de aprendizaje profundo a gran escala. El desarrollo de modelos de IA implica tres fases:

Fase 1: Preparación de datos - Recopilación y organización de conjuntos de datos para entrenar modelos de IA.

Fase 2: Entrenamiento de IA - Entrenar el modelo de IA exponiéndolo a grandes cantidades de datos para que aprenda patrones y relaciones a fin de desarrollar inteligencia.

Fase 3: Inferencia de IA - Aplicación de modelos entrenados a escenarios del mundo real para hacer predicciones o tomar decisiones basadas en datos nuevos y desconocidos.

Si bien la Etapa 3 generalmente aprovecha los centros de datos y las redes en la nube existentes, la Etapa 2 (entrenamiento de IA) requiere importantes recursos de datos y computación para respaldar el proceso de aprendizaje iterativo. Las unidades de procesamiento gráfico (GPU) se utilizan comúnmente para el aprendizaje y la inferencia de IA, a menudo en configuraciones de clúster para aumentar la eficiencia. Sin embargo, escalar los clústeres puede aumentar los costos, lo que destaca la importancia de las redes de centros de datos de IA que no comprometen la eficiencia del clúster.

El entrenamiento de modelos grandes requiere conectar una gran cantidad de servidores GPU, a veces decenas de miles, con un coste de más de $400,000 por servidor en 2023. Por lo tanto, optimizar los tiempos de finalización de los trabajos y minimizar la latencia de cola, donde las cargas de trabajo de IA anómalas ralentizan la finalización general de los trabajos, es fundamental para maximizar el retorno de la inversión en GPU. En este contexto, las redes de centros de datos de IA deben ser fiables y evitar una pérdida de eficiencia del clúster.

Preguntas frecuentes sobre redes de centros de datos de IA 

¿Qué problema resuelve la red de centros de datos de IA?

La inteligencia artificial tiene una demanda muy alta de las grandes cantidades de datos y del cálculo de recursos necesarios para la IA generativa y el aprendizaje profundo, a fin de respaldar el proceso iterativo de desarrollo de modelos, en el que los modelos de IA aprenden y mejoran sus parámetros a partir de los datos que recopilan constantemente. Los procesadores gráficos son muy adecuados para las cargas de trabajo de aprendizaje e inferencia de IA, pero además de construir clústeres de GPU, los centros de datos importantes necesitan mejorar la eficiencia de los modelos de IA a medida que escalan sus clústeres, un proceso que también aumenta los costes, por lo que es fundamental utilizar una red de centros de datos de IA que no comprometa la eficiencia del clúster.

Ethernet vs. InfiniBand: ¿cuál es mejor para las redes de centros de datos de IA?

Aunque InfiniBand, una tecnología propietaria, ha aportado cierto avance e innovación a la tecnología de IA, el uso de equipos InfiniBand es caro, no puede abaratarse para un mercado competitivo de oferta y demanda, y debe combinarse con técnicos de red propietarios. La tecnología Ethernet, por otro lado, es la tecnología de red más utilizada en el mundo después de la tecnología IP y también puede satisfacer los requisitos de alto rendimiento de datos y baja latencia de las aplicaciones de IA, con instancias 800GbE de tecnología Ethernet ahora disponibles con capacidades mejoradas de Data Center Bridging (DCB). Para la tecnología InfiniBand, que se suministra principalmente a través de NVIDIA, se puede utilizar una mayor variedad de herramientas de gestión para redes Ethernet que para la tecnología InfiniBand. En resumen, las arquitecturas Ethernet se vuelven ideales para el tráfico de IA de alta prioridad y crítico para la misión.