Qué es InfiniBand XDR y por qué es importante en la red de IA

InfiniBand XDR es una solución crucial introducida debido a la escala en constante expansión de los clústeres de entrenamiento de IA y al rápido aumento del intercambio de datos entre GPU. Para grandes plataformas de entrenamiento con decenas de miles de GPU, la red ya no es solo un sistema auxiliar, sino una infraestructura crítica que afecta la eficiencia del entrenamiento. En este contexto, la evolución continua de la tecnología InfiniBand hacia un mayor ancho de banda se ha convertido en una tendencia, e InfiniBand XDR es precisamente la tecnología que aborda la siguiente etapa de los requisitos de red de IA.

Qué es InfiniBand XDR

InfiniBand XDR es la clase de velocidad más reciente en la hoja de ruta de la tecnología InfiniBand, impulsada por NVIDIA, dirigida principalmente a plataformas de computación de IA de próxima generación y entornos de computación de alto rendimiento. En comparación con la velocidad de puerto de 400Gbps de la generación anterior NDR, XDR aumenta el ancho de banda de un solo puerto a 800Gbps, logrando un aumento significativo de la capacidad de red.

Desde una perspectiva técnica, XDR mantiene las principales ventajas de InfiniBand de baja latencia, alto rendimiento y RDMA, al tiempo que combina SerDes de alta velocidad de próxima generación, chips de conmutación y tecnología de interconexión óptica para proporcionar capacidades de soporte de red más sólidas para clústeres de GPU a escala ultragrande.

En pocas palabras, XDR no se trata solo de duplicar la velocidad; es una plataforma de interconexión de próxima generación diseñada para satisfacer las futuras necesidades de escalado de los clústeres de IA.

Por qué el entrenamiento de IA requiere redes 800G o 1.6T

En las redes empresariales tradicionales, la mayor parte del tráfico es tráfico norte-sur generado por usuarios que acceden a servidores. Los entornos de entrenamiento de IA son completamente diferentes; su tráfico principal se produce principalmente entre servidores, es decir, tráfico este-oeste.

Durante el entrenamiento de modelos grandes, numerosas GPU necesitan intercambiar con frecuencia gradientes, parámetros del modelo y resultados de cálculo intermedios. Por ejemplo, la operación All-Reduce, común en el entrenamiento distribuido, genera importantes requisitos de comunicación entre nodos.

A medida que el tamaño del modelo crece de miles de millones de parámetros a cientos de miles de millones o incluso billones de parámetros, el volumen de comunicación de red también aumenta. Si la red no puede sincronizar los datos de manera oportuna, las GPU solo pueden esperar a que finalice la transmisión de datos, reduciendo así la utilización general.

Por lo tanto, en los clústeres de IA modernos, el rendimiento de la red es tan importante como el rendimiento de la GPU.

Cómo InfiniBand XDR mejora la eficiencia de los clústeres de IA

Primero, está el aumento del ancho de banda. A 1.6T XDR el enlace puede transmitir más datos de entrenamiento en la misma cantidad de tiempo, lo que reduce la latencia de sincronización en el entrenamiento distribuido y mejora la utilización de la GPU.

En segundo lugar, hay una mejor escalabilidad. A medida que crecen los clústeres de IA, también aumenta el número de puertos de switch y capas de red. Las tasas de puerto más altas significan que se pueden usar menos enlaces para lograr el mismo ancho de banda, lo que simplifica el diseño de la arquitectura de red.

Además, un mayor ancho de banda alivia los problemas de tráfico en puntos de acceso y congestión. Cuando miles de nodos GPU intercambian datos simultáneamente, la red puede proporcionar recursos de transmisión más amplios, reduciendo las fluctuaciones de rendimiento.

Para el entrenamiento de modelos de lenguaje grandes, modelos multimodales y tareas de computación científica, estas ventajas se traducen directamente en una mayor eficiencia de entrenamiento.

Redes de IA InfiniBand XDR y Ethernet 

En los últimos años, las soluciones Ethernet basadas en RoCEv2 se han desarrollado rápidamente, con Ethernet 400G y 800G ampliamente adoptado en el mercado de centros de datos de IA. Sin embargo, InfiniBand aún mantiene una ventaja significativa en escenarios de entrenamiento a escala ultragrande.

En primer lugar, InfiniBand fue diseñado desde el principio para entornos de computación de alto rendimiento, y su mecanismo RDMA, control de congestión y capacidades de comunicación agregada han sido validados durante un largo período.

En segundo lugar, NVIDIA ha creado un ecosistema InfiniBand completo, que incluye switches Quantum, tarjetas de red ConnectX y la pila de software CUDA. Estos componentes trabajan juntos para optimizar el rendimiento del entrenamiento de IA.

Para las plataformas de IA que buscan el máximo rendimiento y una latencia de comunicación mínima, InfiniBand sigue siendo la solución preferida para muchos centros de supercomputación y grandes clústeres de entrenamiento de IA.

InfiniBand XDR impulsa actualizaciones en interconexiones ópticas de alta velocidad

A medida que se implementan gradualmente las redes XDR, las arquitecturas de interconexión óptica de los centros de datos también se actualizarán en consecuencia. Los enlaces de 800Gbps requieren switches y módulos ópticos de mayor rendimiento. Los módulos ópticos de alta velocidad disponibles actualmente, como 800G OSFP, 800G OSFP SR8, 800G DR8 y 800G 2x FR4 se están convirtiendo gradualmente en componentes importantes para construir redes XDR.

Al mismo tiempo, el cableado de fibra óptica, el diseño de racks y los sistemas de refrigeración también deben adaptarse a los requisitos de despliegue de mayor densidad y mayor ancho de banda. Es previsible que las actualizaciones de red en los centros de datos de IA en los próximos años giren en gran medida en torno al ecosistema de interconexión 800G.

Conclusión

A medida que los tamaños de los modelos de IA continúan creciendo, las redes se han convertido en un factor crucial que determina la eficiencia del entrenamiento. Como la última generación de tecnología InfiniBand, XDR proporciona una plataforma de interconexión más eficiente para futuros clústeres de GPU a hiperescala mediante su ancho de banda de 800G y 1.6T, arquitectura de baja latencia y excelente escalabilidad. En la evolución continua de la infraestructura de IA, se espera que XDR se convierta en una de las tecnologías clave que impulsen el desarrollo de los centros de computación inteligente de próxima generación.