Elección de interconexiones 200G: InfiniBand HDR frente a Ethernet

Al revisar diseños de arquitectura para centros de datos modernos y clústeres de entrenamiento de IA, los ingenieros de redes se enfrentan con frecuencia a una decisión crucial: elegir entre InfiniBand HDR y 200GbE Ethernet. Compartir una velocidad de transmisión de datos de 200G no significa que ambas tecnologías funcionen de la misma manera. Tanto InfiniBand HDR como 200GbE Ethernet admiten conectividad 200G QSFP56 mediante cuatro canales 50G PAM4. Según la plataforma y las especificaciones del cable, estos sistemas pueden utilizar cables DAC pasivos o cables ópticos activos para conexiones de corto y medio alcance. Sin embargo, la compatibilidad física de los conectores no garantiza automáticamente la compatibilidad de los protocolos.

Arquitectura de transporte y control de flujo

Para comprender por qué un enlace 200G se comporta de forma diferente según el protocolo que utiliza, debemos examinar sus mecanismos de transporte y control de flujo. Independientemente del protocolo elegido, la puesta en servicio satisfactoria de cualquier enlace 200G de alta densidad depende de medios físicos robustos, como la implementación de cables DAC 200G para conexiones de corto alcance en la parte superior del rack.

Ethernet con RoCEv2: Ethernet es fundamentalmente una tecnología de conmutación de paquetes de propósito general. RoCEv2 transporta tráfico de transporte RDMA sobre Ethernet mediante encapsulación UDP/IP. Esto permite que las aplicaciones RDMA funcionen en redes IP enrutadas y conserven gran parte del modelo de transporte RDMA. Sin embargo, también introduce consideraciones adicionales en la capa de red, como el enrutamiento IP, la gestión de la congestión y el comportamiento de la entrega de paquetes. Ethernet convencional no proporciona el mismo control de flujo basado en créditos a nivel de enlace que utiliza InfiniBand. Para implementaciones de RoCEv2 sensibles a la latencia, los operadores de red suelen combinar mecanismos como el control de flujo basado en prioridades y la notificación explícita de congestión con algoritmos de control de congestión como DCQCN. Estas funciones pueden ayudar a reducir la pérdida de paquetes en situaciones de congestión, pero su eficacia depende en gran medida de una configuración adecuada, la gestión de los búferes y la ingeniería de tráfico.

InfiniBand HDR: InfiniBand se diseñó específicamente como una estructura de interconexión conmutada nativa para la computación en clústeres de baja latencia y alto rendimiento. Utiliza un control de flujo basado en créditos para regular el tráfico a nivel de enlace: el emisor debe disponer de créditos suficientes, que indican el espacio disponible en el búfer del receptor, antes de transmitir datos. Por su parte, un gestor de subred centralizado se encarga del descubrimiento, la configuración y la gestión de rutas de la estructura de interconexión. Esta arquitectura ayuda a evitar los desbordamientos de los búferes de recepción causados por la congestión y reduce la dependencia de la configuración de PFC propia de Ethernet. Sin embargo, no garantiza la eliminación de todas las formas de errores de paquetes, congestión o retransmisiones en toda la estructura de interconexión.

RDMA y rendimiento de los clústeres de IA

El entrenamiento moderno de IA, en particular el de grandes modelos de lenguaje, depende en gran medida de operaciones de comunicación colectiva como All-Reduce, All-Gather y Reduce-Scatter. Estas operaciones permiten que las GPU distribuidas en varios servidores intercambien datos y sincronicen parámetros o gradientes del modelo durante el entrenamiento. Durante las operaciones colectivas, los retrasos de comunicación en nodos individuales pueden prolongar el tiempo necesario para completar una iteración de entrenamiento. Cuando la sincronización se convierte en un cuello de botella, los nodos más rápidos pueden tener que esperar a los participantes más lentos, lo que reduce la utilización global de las GPU.

RDMA es fundamental en ambas arquitecturas. Tanto InfiniBand como RoCEv2 admiten RDMA, lo que permite que una NIC transfiera datos directamente entre regiones de memoria registradas en sistemas remotos con una intervención mínima de la CPU del host. Al reducir las copias de datos y el procesamiento del kernel en la ruta de datos, RDMA ayuda a reducir la sobrecarga de la CPU y a mejorar la eficiencia de las comunicaciones para cargas de trabajo de alto rendimiento.

InfiniBand nativo proporciona una arquitectura de transporte e interconexión diseñada específicamente para la computación de alto rendimiento. RoCEv2 también puede ofrecer un alto rendimiento de RDMA sobre Ethernet, pero lograr resultados uniformes a gran escala requiere prestar especial atención al control de la congestión, la gestión de colas y la configuración de la red.

Comparación de 200G InfiniBand HDR y 200GbE RoCEv2

Cómo elegir la interconexión 200G adecuada

Elegir entre estas dos tecnologías requiere una evaluación exhaustiva de las cargas de trabajo de sus aplicaciones, la infraestructura existente y la experiencia operativa y madurez técnica de su equipo.

Para clústeres de IA y HPC a gran escala:

Si su carga de trabajo principal consiste en entrenar grandes redes neuronales en clústeres masivos de GPU, donde la latencia de sincronización entre nodos afecta directamente al tiempo de entrenamiento, InfiniBand ofrece una arquitectura de red diseñada específicamente para estos escenarios. Su mecanismo de control de flujo basado en créditos regula la transmisión de datos en la capa de enlace, mientras que un gestor de subred centralizado facilita la gestión unificada de las configuraciones de red y las rutas de datos. En entornos a gran escala con escalado horizontal, la gestión centralizada de subredes y el control de flujo basado en créditos a nivel de enlace de InfiniBand ayudan a simplificar la administración de la red, reduciendo la necesidad de configuraciones complejas de PFC y ajustes de congestión típicos de Ethernet. Sin embargo, antes de la implementación, debe evaluar la familiaridad de su equipo con la administración de un gestor de subred, analizar su infraestructura de conmutadores existente y considerar los requisitos futuros de escalado de su clúster.

Para entornos de centros de datos convergentes:

Si su infraestructura debe admitir una amplia variedad de cargas de trabajo, como virtualización de propósito general, microservicios en contenedores y almacenamiento en bloques de alto rendimiento, una solución Ethernet 200GbE que utilice RoCEv2 ofrece mayor flexibilidad. Se integra perfectamente con las tecnologías empresariales existentes de enrutamiento y virtualización de redes, como BGP y EVPN-VXLAN. Dicho esto, implementar RoCEv2 requiere una planificación meticulosa de la QoS y la gestión de la congestión. Debe asegurarse de que los conmutadores de su centro de datos admitan el marcado ECN y PFC, y verificar que tanto las tarjetas de interfaz de red como el conjunto de la infraestructura de red estén correctamente configurados para mecanismos de control de congestión como DCQCN. Además, su equipo de operaciones debe establecer estándares claros de configuración y validación, centrándose en la priorización del tráfico, los umbrales de los búferes y el comportamiento de la congestión de la red.

Consideraciones sobre el cableado DAC y AOC

En una red de centro de datos 200G, la elección entre DAC y AOC depende en gran medida de la distancia del enlace, los requisitos de tendido del cableado y la compatibilidad de la plataforma. La conectividad de la capa física desempeña un papel fundamental para mantener la integridad de la señal en los enlaces 200G.

Cables DAC QSFP56 pasivos: Dado que los cables DAC pasivos utilizan conexiones eléctricas directas en lugar de transceptores ópticos y enlaces de fibra, ofrecen una opción sencilla y rentable para interconexiones 200G de corto alcance. Sin embargo, al diseñar enlaces 200G, se deben seguir teniendo en cuenta la longitud del cable, la pérdida de inserción, la integridad de la señal y los requisitos de FEC específicos de la plataforma. En las configuraciones compatibles, un puerto 200G QSFP56 se puede dividir en dos enlaces 100G mediante un cable de derivación compatible. Esto requiere que el puerto de origen, las interfaces de destino y los dispositivos de red admitan el mismo modo de división y la misma asignación de carriles.

Cables ópticos activos (AOCs): Para conexiones más largas en las que la longitud del cable de cobre pasivo o las restricciones de tendido se convierten en factores limitantes, los cables ópticos activos pueden ofrecer una alternativa práctica. Para implementaciones de InfiniBand HDR, AOCs también están disponibles en diversas longitudes y configuraciones de derivación, incluidas opciones de 200G a dos enlaces 100G (tenga en cuenta que estas opciones de derivación dependen de la compatibilidad específica del protocolo y del dispositivo). Estos conjuntos pueden simplificar la conectividad cuando el cableado de cobre no resulta adecuado o cuando se requieren tendidos de cable más largos. Los ingenieros deben verificar igualmente el protocolo admitido, el alcance y la compatibilidad de los dispositivos de los extremos.

Conclusión

Alinear la arquitectura de red con los requisitos de las cargas de trabajo es solo una parte del proceso de diseño. Los ingenieros también deben verificar la compatibilidad del cableado, las configuraciones de derivación, el alcance de los enlaces y la compatibilidad de los dispositivos de los extremos. Al evaluar tanto el protocolo de red como la interconexión física, los equipos de los centros de datos pueden crear infraestructuras 200G que escalen de forma fiable para cargas de trabajo de IA, HPC y empresariales.