ConnectX-7 frente a ConnectX-8: comparación de 400G y 800G para clústeres de IA

NVIDIA ConnectX-7 y ConnectX-8 se centran en las redes de alta velocidad para entornos de IA, HPC y centros de datos, pero están orientados a distintas etapas de la evolución de las redes. ConnectX-7 se asocia con la conectividad 400G NDR y 400GbE, mientras que ConnectX-8 amplía la plataforma a 800Gb/s XDR InfiniBand y configuraciones 400GbE flexibles. Las velocidades de los puertos por sí solas no cuentan toda la historia. Sin embargo, la conectividad PCIe, el protocolo de red, el factor de forma del transceptor y los requisitos de la carga de trabajo también determinan con qué generación tiene más sentido trabajar en un clúster de IA.

¿Qué son NVIDIA ConnectX-7 y ConnectX-8? 

¿Qué es la Smart NIC NVIDIA ConnectX-7? 

NVIDIA ConnectX-7 es un adaptador de red de alta velocidad diseñado tanto para entornos InfiniBand como Ethernet. ConnectX-7 está disponible en diferentes configuraciones de adaptador, incluidos modelos de 400Gb/s de un solo puerto con interfaces OSFP o QSFP112, según el adaptador específico. La documentación de NVIDIA enumera configuraciones de un solo puerto compatibles con NDR 400Gb/s y 400GbE, así como otras configuraciones de menor velocidad. 

ConnectX-7 también es compatible con PCIe Gen5 x16, lo que proporciona la interfaz de host necesaria para transferencias de datos de alta velocidad entre el adaptador de red y el servidor. Sus capacidades lo hacen adecuado para el entrenamiento de IA, la computación de alto rendimiento (HPC), la infraestructura en la nube y otras cargas de trabajo en las que son importantes la baja latencia y el alto rendimiento.

¿Qué es NVIDIA CX8?

NVIDIA ConnectX-8 es la próxima generación de la plataforma ConnectX y está posicionada para redes de IA y centros de datos de mayor ancho de banda. NVIDIA describe los SuperNICs ConnectX-8 como compatibles con hasta 800Gb/s de ancho de banda de red total.

El C8180, por ejemplo, puede operar con un puerto InfiniBand XDR a 800Gb/s o configurarse como dos puertos 400GbE. Esta distinción es importante: InfiniBand XDR de 800Gb/s y 2×400GbE son configuraciones compatibles, en lugar de un único puerto Ethernet 800GbE. ConnectX-8 admite conectividad PCIe Gen6 y es compatible con versiones anteriores de PCIe Gen5.

ConnectX-7 frente a ConnectX-8: ¿Cuáles son las diferencias clave?

La diferencia más visible entre las dos generaciones es el ancho de banda de la red, pero la actualización también implica la interfaz del host subyacente y la arquitectura de red.

Ancho de banda de red de 400G frente a 800G

ConnectX-7 es muy adecuado para arquitecturas de red de 400G. Un adaptador ConnectX-7 de un solo puerto puede admitir 400GbE o NDR 400Gb/s,, según el modelo y la configuración. ConnectX-8 eleva el límite a 800Gb/s en su configuración XDR InfiniBand. El C8180 de NVIDIA también puede configurarse como dos puertos 400GbE, lo que proporciona flexibilidad para diferentes arquitecturas de red.

En lo que respecta a las cargas de trabajo de IA, pasar de 400G a 800G puede proporcionar hasta el doble de ancho de banda de red por puerto para las comunicaciones entre GPU. A medida que aumenta el número de GPU y el entrenamiento distribuido genera más tráfico eastwest a través de los nodos de cómputo, este es un caso de uso cada vez más relevante.

NDR frente a XDR InfiniBand

ConnectX-7 admite InfiniBand NDR 400Gb/s, utilizando cuatro carriles de 100Gb/s. ConnectX-8 añade InfiniBand XDR 800Gb/s, utilizando cuatro carriles de 200Gb/s. Esta mayor velocidad por carril es una de las razones fundamentales por las que ConnectX-8 puede proporcionar conectividad de 800Gb/s XDR. Para los clústeres de entrenamiento de IA de gran tamaño, un mayor ancho de banda puede ayudar a reducir las limitaciones de la red durante las cargas de trabajo distribuidas intensivas.

PCIe Gen5 frente a Gen6

ConnectX-7 utiliza PCIe Gen5 x16 en configuraciones de adaptadores de alta velocidad compatibles. ConnectX-8 admite PCIe Gen6 x16 y también es compatible con versiones anteriores de PCIe Gen5. La interfaz del host es importante porque una NIC de alta velocidad necesita suficiente ancho de banda entre el adaptador y el servidor. Por lo tanto, la actualización a una interfaz de red 800Gb/s debe considerarse junto con la plataforma del servidor, la configuración PCIe, la arquitectura de GPU y el diseño general del sistema.

¿Cómo admite ConnectX-8 los clústeres de IA de 800G?

NVIDIA ConnectX-8 y redes de IA de 800G

La principal ventaja de ConnectX-8 para la infraestructura de IA de próxima generación es su capacidad para admitir un mayor ancho de banda de red y, al mismo tiempo, proporcionar configuraciones de puertos flexibles. El C8180 admite una configuración InfiniBand XDR de 800Gb/s y también se puede configurar para dos puertos 400GbE. Esto hace que ConnectX-8 sea especialmente relevante para los clústeres de IA, donde el tráfico de red entre las GPU y los servidores puede convertirse en un factor limitante. Las redes de mayor velocidad pueden proporcionar más ancho de banda por puerto de alta velocidad, lo que puede ayudar a simplificar la ampliación de la red en algunas arquitecturas de clúster.

ConnectX-8 para entrenamiento de IA a gran escala

El entrenamiento de IA a gran escala depende en gran medida de la comunicación entre las GPU. Las operaciones como la sincronización de gradientes y la comunicación colectiva pueden generar un tráfico de red considerable en un clúster distribuido.

A medida que el rendimiento de las GPU continúa aumentando, el ancho de banda de red puede convertirse en un factor cada vez más importante en los clústeres de IA a gran escala. ConnectX-8 está diseñado para este entorno y ofrece conectividad XDR de 800Gb/s, PCIe Gen6 y funciones de red orientadas a mejorar el rendimiento de los clústeres de IA.

Esto no significa que todos los clústeres de IA necesiten 800G. El beneficio real depende del número de GPU, la carga de trabajo, la topología de red y de si la red existente ya se está acercando a sus límites de ancho de banda.

¿Cuándo sigue siendo suficiente ConnectX-7 para los clústeres de IA?  

Para muchas redes de IA y HPC 400G, ConnectX-7 sigue siendo una opción viable. Para clústeres que ya están implementando 400G NDR o 400GbE, y donde las cargas de trabajo no saturan esa capacidad, el cambio a ConnectX-8 puede no aportar suficiente valor adicional para justificar una renovación completa de la infraestructura.

También puede tener sentido cuando la plataforma de servidor, los switches, la óptica o el cableado están diseñados en torno a 400G. En estas situaciones, ConnectX-7 puede proporcionar el ancho de banda requerido sin introducir los requisitos adicionales asociados con una implementación de 800G.

¿Qué transceptores y cables son compatibles con ConnectX-7 y ConnectX-8?

Transceptores y cables de 400G para ConnectX-7   

Las configuraciones ConnectX-7 de alta velocidad pueden utilizar QSFP112 u OSFP, según el modelo de adaptador. Por ejemplo, NVIDIA documenta adaptadores ConnectX-7 con configuraciones QSFP112 de un solo puerto y OSFP de un solo puerto compatibles con conectividad de 400Gb/s. Según el diseño de la red, se pueden utilizar transceptores ópticos de 400G, DAC, AOC y cableado de fibra para conectar la NIC a switches compatibles.

Transceptores y cables 800G para ConnectX-8

Los modelos ConnectX-8 C8180 utilizan una única jaula de red OSFP para su configuración de 800Gb/s, mientras que los modelos C8240 utilizan puertos QSFP112 dobles, y cada puerto admite hasta 400GbE.  Por lo tanto, una implementación de 800G debe considerar no solo la velocidad óptica, sino también la interfaz física y el modelo específico de ConnectX-8. Los módulos ópticos de 800G, DAC, AOC y la infraestructura de fibra compatibles deben seleccionarse según la NIC, el switch, la distancia y el protocolo de red.

Consideraciones de compatibilidad de ConnectX-7 y ConnectX-8

La velocidad no es el único factor que debe tenerse en cuenta. Al seleccionar un transceptor o cable, debe comprobar el modelo de NIC, el tipo de puerto, el protocolo compatible, la longitud de onda óptica, la velocidad de datos, la distancia de transmisión, el tipo de conector y la interfaz del lado del switch. Por ejemplo, no debe suponerse automáticamente que una solución 800G OSFP destinada a un ConnectX-8 C8180 funcionará con todos los adaptadores ConnectX-8 o ConnectX-7. NVIDIA indica distintas interfaces y configuraciones entre sus modelos de adaptadores.

ConnectX-7 frente a ConnectX-8: ¿Cuál debería elegir?  

Elija ConnectX-7 para redes de IA y HPC de 400G

ConnectX-7 es una excelente opción cuando la arquitectura de red está centrada en 400G. Es adecuado para redes NDR existentes, entornos 400GbE y clústeres de IA o HPC cuyas cargas de trabajo pueden gestionarse eficazmente con conectividad 400Gb/s.

También puede ser la opción más práctica cuando actualizar la red requeriría, de lo contrario, reemplazar los switches, transceptores, cables y plataformas de servidores.

Elija ConnectX-8 para clústeres de IA 800G

ConnectX-8 es más adecuado para nuevas infraestructuras de IA de alto ancho de banda que pueden aprovechar la conectividad XDR de 800Gb/s. Es especialmente relevante para entornos de entrenamiento de IA a gran escala donde se espera que el tráfico de red entre GPU y servidores crezca significativamente. Sin embargo, la decisión debe basarse en la arquitectura de red completa, no solo en el ancho de banda de la NIC. Los servidores, los conmutadores, las interfaces PCIe, los transceptores y el cableado deben admitir la configuración prevista.

Conclusión

ConnectX-7 y ConnectX-8 representan diferentes etapas de las redes de alta velocidad para clústeres de IA y HPC. ConnectX-7 escala hasta una conectividad de 400Gb/s y se adapta bien a muchas implementaciones existentes de 400G. ConnectX-8 amplía la plataforma a XDR InfiniBand de 800Gb/s, con compatibilidad con PCIe Gen6 y configuraciones de puertos flexibles para infraestructuras de IA de próxima generación.

Para una red 400G establecida, ConnectX-7 aún puede ofrecer el equilibrio adecuado entre rendimiento y requisitos de infraestructura. Para un nuevo clúster de IA a gran escala diseñado en torno a redes 800G, ConnectX-8 proporciona una vía hacia una mayor capacidad de red. En cualquier caso, la NIC debe seleccionarse junto con los switches, transceptores, cables e interfaces de servidor adecuados.