¿Qué es RDMA sobre Ethernet convergente?

RoCE es una tecnología que satisface las necesidades de las aplicaciones de alto ancho de banda y alto rendimiento. El protocolo TCP/IP tradicional tiene alta latencia y un uso ineficiente del ancho de banda, y no puede satisfacer las crecientes necesidades de red, por lo que se desarrolló RoCE. Integra el acceso remoto a memoria en Ethernet mediante la tecnología RDMA, lo que mejora significativamente la eficiencia de la transmisión de datos y reduce la latencia. Este artículo le ofrecerá una comprensión detallada de qué es RoCE, para que pueda entenderlo en profundidad.

Qué es la red RoCE

RoCE (RDMA over Converged Ethernet) es una tecnología de acceso directo a memoria remoto (RDMA) basada en Ethernet, diseñada para lograr una transmisión de datos de baja latencia y alto rendimiento a través de Ethernet sin pérdidas. La tecnología RoCE introduce la tecnología RDMA de la computación y las redes de alto rendimiento en la infraestructura Ethernet estándar, dotando a Ethernet tradicional de capacidades RDMA y propiedades de computación de alto rendimiento. Por lo tanto, la tecnología RoCE tiene las potentes ventajas tanto de Ethernet como de RDMA.

La tecnología RoCE permite lograr un alto rendimiento similar al de InfiniBand en redes Ethernet existentes. Reduce la latencia y aumenta el ancho de banda optimizando los protocolos Ethernet. En comparación con Ethernet tradicional: RoCE proporciona menor latencia y mayor rendimiento, manteniendo al mismo tiempo una estrecha compatibilidad con los dispositivos Ethernet existentes.

Ventajas de RoCE: Las principales ventajas de RoCE son su rentabilidad y compatibilidad. Dado que se basa en estándares Ethernet, puede utilizar equipos y cables de red maduros disponibles en el mercado, no está sujeto a restricciones de una sola marca ni regionales, y cuenta con un buen ciclo de suministro y servicio posventa. Lo clave es que también tiene una excelente compatibilidad con Ethernet y sus equipos, lo que mejora enormemente la flexibilidad y reduce los costos. Por lo tanto, la tecnología RoCE se utiliza cada vez más ampliamente en centros de datos, almacenamiento de alto rendimiento HPC, inteligencia artificial y otros campos, convirtiéndose en una tecnología de interconexión rentable en la interconexión de servidores GPU. QSFPTEK proporciona Switches L3/L3+ que admiten RoCE2.

Desarrollo y tipos de RoCE

RoCE v1

En abril de 2010, IBTA lanzó RoCE. Este estándar se publicó como un complemento de la Especificación de Arquitectura InfiniBand, por lo que también se denomina IBoE (InfiniBand sobre Ethernet). En ese momento, el estándar RoCE sustituyó la capa de red TCP/IP por la capa de red IB sobre la capa de enlace Ethernet, por lo que no admite enrutamiento IP; por ello, se denomina RoCE v1.

RoCE v1 (Capa 2) opera en la capa de enlace Ethernet (Capa 2), por lo que el typeID del protocolo RoCE v1 en la capa Ethernet es 0x8915, por lo que el tamaño de trama normal es de 1500 bytes y la trama Jumbo es de 9000 bytes.

RoCE v1 es un protocolo RDMA implementado basado en la capa de enlace Ethernet (el switch debe admitir tecnologías de control de flujo como PFC para garantizar una transmisión fiable en la capa física), lo que permite que dos hosts en la misma VLAN se comuniquen.

RoCE v2

Dado que la trama de datos de RoCE v1 no lleva un encabezado IP, solo puede comunicarse dentro de la subred L2. Para resolver este problema, IBTA propuso RoCE V2 en 2014. RoCE v2 es una extensión de RoCE v1, que reemplaza el GRH (Global Routing Header) por un encabezado UDP + encabezado IP. RoCE v2 supera la limitación de RoCE v1 de estar vinculado a una única VLAN. Al cambiar la encapsulación de paquetes, incluidos los encabezados IP y UDP, RoCE v2 puede utilizarse en redes L2 y L3. La estructura de trama extendida se muestra en la figura siguiente.

RoCE v2 (capa 3) opera sobre UDP/IPv4 o UDP/IPv6 (capa 3) y utiliza el puerto UDP 4791 para la transmisión. Debido a que los paquetes RoCE v2 son enrutables en la capa 3, RoCE v2 también puede denominarse RoCE enrutable o RRoCE para abreviar.

RoCE v2 es una evolución y mejora de la generación anterior RoCE v1. Al introducir una serie de mejoras, resuelve eficazmente las limitaciones originales y mejora integralmente el rendimiento. La versión de segunda generación RoCE v2 destaca por su significativa mejora del rendimiento y su mayor flexibilidad, y se ha convertido en la aplicación principal del mercado.

Implementación de RoCE

Para lograr la interconexión RoCE, el dispositivo de tarjeta de red debe instalar un controlador compatible con RoCE. Todas las NIC Ethernet (tarjetas de interfaz de red) deben admitir tarjetas adaptadoras de red RoCE (es decir, tarjetas de red RoCE). Los controladores RoCE están disponibles en Red Hat, Linux, Windows y otros sistemas operativos comunes. Por lo tanto, se requieren tres métodos para implementar redes RoCE:

a. Para servidores o dispositivos host, debe utilizar tarjetas de red RoCE para conectarse.

b. Para los switches de red, elija utilizar switches que admitan sistemas operativos PFC. PFC, o control de flujo por prioridad, es uno de los medios necesarios para construir Ethernet sin pérdidas. Puede proporcionar control de flujo basado en prioridades salto a salto. Este método de control de flujo individual permite que la red se mantenga fluida cuando parte del tráfico está congestionado, al tiempo que evita interferencias con otro tráfico, garantizando así un gran ancho de banda y baja latencia.

c. Construya una arquitectura Ethernet inteligente sin pérdidas.

RoCE NIC

RoCE NIC es una tarjeta de red compatible con el protocolo RoCE. Utiliza tecnología RDMA e integra las funciones de hardware necesarias. Puede liberar a la CPU de tareas pesadas, reduciendo así significativamente la latencia de la transmisión de datos y mejorando eficazmente el rendimiento operativo y el ancho de banda de todo el sistema. 

Switch de alto rendimiento y gran ancho de banda

Debido a la demanda de gran ancho de banda, RoCE suele requerir el soporte de switches de alto rendimiento y gran ancho de banda. La base fundamental para construir switches de red de alto rendimiento y gran ancho de banda reside en la tecnología de chips de reenvío del switch.

Arquitectura Ethernet inteligente y sin pérdidas

Además de los recursos de hardware anteriores, en la red RoCE también necesitamos construir una arquitectura Ethernet inteligente sin pérdidas para garantizar que no haya pérdida de paquetes durante la transmisión por la red.

Las redes inteligentes sin pérdida utilizan tecnología de control de flujo y tecnología de control de congestión para mejorar el rendimiento general de la red y reducir la latencia de la red. Por otro lado, utilizan tecnologías como las redes de almacenamiento inteligentes sin pérdida para lograr la optimización de la integración de la red y el sistema de aplicaciones. De acuerdo con la correspondencia entre la tecnología de red inteligente sin pérdida y la pila de protocolos TCP/IP, el siguiente es el diagrama de arquitectura técnica de la red inteligente sin pérdida:

Comparación entre redes IB y RoCE v2

Comparación técnica

Desde una perspectiva técnica, InfiniBand utiliza muchas tecnologías para mejorar el rendimiento del reenvío de red, reducir el tiempo de recuperación ante fallos, mejorar la escalabilidad y reducir la complejidad de operación y mantenimiento.

Comparación de escenarios empresariales

Rendimiento empresarial: Dado que la latencia de extremo a extremo de InfiniBand es menor que la de RoCE v2, la red construida sobre InfiniBand tiene una ventaja en el rendimiento empresarial de la capa de aplicación. Sin embargo, el rendimiento de RoCE v2 también puede satisfacer los requisitos de rendimiento empresarial de la mayoría de los escenarios de computación inteligente.

Escala empresarial: InfiniBand puede admitir un único clúster de 10.000 tarjetas GPU y garantizar que el rendimiento general no disminuya, y existen muchos casos de práctica comercial en la industria. La red RoCE v2 puede admitir una escala de 1.000 tarjetas GPU en un único clúster sin mucha reducción en el rendimiento general de la red.

Operación y mantenimiento empresarial: InfiniBand es más maduro que RoCE v2, incluidas las capacidades de aislamiento multiinquilino, las capacidades de diagnóstico de operación y mantenimiento, etc.

Coste empresarial: El coste de InfiniBand es mayor que el de RoCE v2, principalmente porque el coste de los switches y módulos InfiniBand es mayor que el de los switches Ethernet.

Conclusión

RoCE cierra la brecha entre la computación de alto rendimiento y las redes basadas en Ethernet al integrar funciones RDMA en la infraestructura Ethernet. Proporciona baja latencia, gran ancho de banda y rentabilidad, lo que lo convierte en una opción ideal para aplicaciones como centros de datos y computación en la nube. En comparación con InfiniBand, tiene una compatibilidad más amplia y costos más bajos. Aunque RoCE es ligeramente inferior en latencia y gestión multiinquilino, es una alternativa altamente competitiva que desafía la posición de InfiniBand.