O que é RDMA sobre Ethernet convergente?

RoCE é uma tecnologia que atende às necessidades de aplicações de alta largura de banda e alto desempenho. O protocolo TCP/IP tradicional apresenta alta latência e utilização ineficiente da largura de banda, e não consegue atender às crescentes necessidades de rede; por isso, o RoCE foi desenvolvido. Ele integra o acesso remoto à memória à Ethernet por meio da tecnologia RDMA, melhorando significativamente a eficiência da transmissão de dados e reduzindo a latência. Este artigo levará você a uma compreensão detalhada do que é RoCE, para que possa entendê-lo profundamente.

O que é rede RoCE

RoCE (RDMA over Converged Ethernet) é uma tecnologia de acesso direto remoto à memória (RDMA) baseada em Ethernet, projetada para alcançar transmissão de dados de baixa latência e alta taxa de transferência por Ethernet sem perdas. A tecnologia RoCE introduz a tecnologia RDMA de computação e redes de alto desempenho na infraestrutura Ethernet padrão, conferindo à Ethernet tradicional capacidades RDMA e propriedades de computação de alto desempenho. Portanto, a tecnologia RoCE tem as poderosas vantagens tanto da Ethernet quanto do RDMA.

A tecnologia RoCE permite alcançar alto desempenho semelhante ao InfiniBand em redes Ethernet existentes. Ela reduz a latência e aumenta a largura de banda ao otimizar os protocolos Ethernet. Em comparação com a Ethernet tradicional: o RoCE oferece menor latência e maior taxa de transferência, mantendo compatibilidade próxima com dispositivos Ethernet existentes.

Vantagens do RoCE: As principais vantagens do RoCE são sua relação custo-benefício e compatibilidade. Como ele se baseia em padrões Ethernet, pode usar equipamentos de rede e cabos maduros disponíveis no mercado, não está sujeito a restrições de uma única marca ou região e conta com bom ciclo de fornecimento e serviço pós-venda. O ponto-chave é que ele também tem excelente compatibilidade com Ethernet e seus equipamentos, melhorando muito a flexibilidade e reduzindo custos. Portanto, a tecnologia RoCE é cada vez mais usada em data centers, armazenamento de alto desempenho HPC, inteligência artificial e outros campos, tornando-se uma tecnologia de interconexão econômica na interconexão de servidores GPU. A QSFPTEK fornece switches L3/L3+ compatíveis com RoCE2.

Desenvolvimento e tipos de RoCE

RoCE v1

Em abril de 2010, a IBTA lançou o RoCE. Esse padrão foi lançado como um complemento à Especificação da Arquitetura Infiniband, portanto também é chamado de IBoE (InfiniBand over Ethernet). Nesse momento, o padrão RoCE substituiu a camada de rede TCP/IP pela camada de rede IB na camada de enlace Ethernet, portanto não oferece suporte a roteamento IP, por isso é chamado de RoCE v1.

RoCE v1 (Layer 2) opera na camada de enlace Ethernet (Layer 2), portanto, o typeID do protocolo RoCE v1 na camada Ethernet é 0x8915, o tamanho normal do Frame é 1500 bytes, e o Jumbo Frame é 9000 bytes.

RoCE v1 é um protocolo RDMA implementado com base na camada de enlace Ethernet (o switch precisa oferecer suporte a tecnologias de controle de fluxo, como PFC, para garantir transmissão confiável na camada física), permitindo que dois hosts na mesma VLAN se comuniquem.

RoCE v2

Como o quadro de dados do RoCE v1 não carrega um cabeçalho IP, ele só pode se comunicar dentro da sub-rede L2. Para resolver esse problema, a IBTA propôs o RoCE V2 em 2014. O RoCE v2 é uma extensão do RoCE v1, substituindo o GRH (Global Routing Header) por um cabeçalho UDP + cabeçalho IP. O RoCE v2 supera a limitação do RoCE v1 de estar vinculado a uma única VLAN. Ao alterar o encapsulamento de pacotes, incluindo os cabeçalhos IP e UDP, o RoCE v2 pode ser usado em redes L2 e L3. A estrutura de quadro estendida é mostrada na figura abaixo.

RoCE v2 (Camada 3) opera sobre UDP/IPv4 ou UDP/IPv6 (Camada 3) e usa a Porta UDP 4791 para transmissão. Como os pacotes RoCE v2 são roteáveis na Camada 3, RoCE v2 também pode ser chamado de RoCE Roteável ou RRoCE, abreviado.

RoCE v2 é uma evolução e melhoria da geração anterior RoCE v1. Ao introduzir uma série de melhorias, ele soluciona efetivamente as limitações originais e melhora o desempenho de forma abrangente. A versão de segunda geração RoCE v2 se destaca por sua melhoria significativa de desempenho e maior flexibilidade, tornando-se a aplicação predominante no mercado.

Implementação de RoCE

Para obter a interconexão RoCE, o dispositivo da placa de rede deve instalar um driver compatível com RoCE. Todas as NICs Ethernet (Network Interface Cards) devem ser compatíveis com placas adaptadoras de rede RoCE (ou seja, placas de rede RoCE). Drivers RoCE estão disponíveis no Red Hat, Linux, Windows e outros sistemas operacionais comuns. Portanto, são necessários três métodos para implementar redes RoCE:

a. Para servidores ou dispositivos host, você precisa usar placas de rede RoCE para se conectar.

b. Para switches de rede, opte por usar switches que sejam compatíveis com sistemas operacionais PFC. PFC, ou controle de fluxo por prioridade, é um dos meios necessários para construir Ethernet sem perdas. Ele pode fornecer controle de fluxo baseado em prioridade salto a salto. Esse método de controle de fluxo individual permite que a rede permaneça fluida quando parte do tráfego está congestionada, ao mesmo tempo em que evita interferência em outros tráfegos, garantindo assim grande largura de banda e baixa latência.

c. Crie uma arquitetura Ethernet lossless inteligente.

NIC RoCE

NIC RoCE é uma placa de rede compatível com o protocolo RoCE. Ela usa a tecnologia RDMA e integra os recursos de hardware necessários. Ela pode liberar a CPU de tarefas pesadas, reduzindo assim significativamente a latência da transmissão de dados e melhorando efetivamente o desempenho operacional e a largura de banda de todo o sistema. 

Switch de alto desempenho e alta largura de banda

Devido à demanda por grande largura de banda, RoCE frequentemente exige o suporte de switches de alto desempenho e alta largura de banda. A base central para construir switches de rede de alto desempenho e alta largura de banda está na tecnologia de chip de encaminhamento do switch.

Arquitetura Ethernet inteligente e sem perdas

Além dos recursos de hardware acima, na rede RoCE, também precisamos criar uma arquitetura Ethernet inteligente sem perdas para garantir que não haja perda de pacotes durante a transmissão pela rede.

Redes inteligentes sem perdas usam tecnologia de controle de fluxo e tecnologia de controle de congestionamento para melhorar a taxa de transferência geral da rede e reduzir a latência da rede. Por outro lado, elas usam tecnologias como redes inteligentes de armazenamento sem perdas para obter otimização integrada da rede e do sistema de aplicações. De acordo com a correspondência entre a tecnologia de rede inteligente sem perdas e a pilha de protocolos TCP/IP, a seguir está o diagrama da arquitetura técnica da rede inteligente sem perdas:

Comparação entre Redes IB e RoCE v2

Comparação técnica

De uma perspectiva técnica, o InfiniBand usa muitas tecnologias para melhorar o desempenho de encaminhamento da rede, reduzir o tempo de recuperação de falhas, melhorar a escalabilidade e reduzir a complexidade de operação e manutenção.

Comparação de Cenários de Negócios

Desempenho empresarial: Como a latência de ponta a ponta do InfiniBand é menor que a do RoCE v2, a rede construída sobre InfiniBand tem vantagem no desempenho de negócios na camada de aplicação. No entanto, o desempenho do RoCE v2 também pode atender aos requisitos de desempenho de negócios da maioria dos cenários de computação inteligente.

Escala empresarial: InfiniBand pode suportar um único cluster de 10,000 placas GPU e garantir que o desempenho geral não diminua, e há muitos casos de prática comercial no setor. A rede RoCE v2 pode suportar uma escala de 1,000 placas GPU em um único cluster sem grande redução no desempenho geral da rede.

Operação e manutenção de negócios: InfiniBand é mais maduro do que RoCE v2, incluindo recursos de isolamento multilocatário, recursos de diagnóstico de operação e manutenção etc.

Custo comercial: O custo do InfiniBand é mais alto que o do RoCE v2, principalmente porque o custo dos switches e módulos InfiniBand é maior que o dos switches Ethernet.

Conclusão

O RoCE preenche a lacuna entre a computação de alto desempenho e as redes baseadas em Ethernet ao integrar funções RDMA à infraestrutura Ethernet. Ele oferece baixa latência, alta largura de banda e custo-benefício, tornando-se uma escolha ideal para aplicações como data centers e computação em nuvem. Comparado ao InfiniBand, ele tem compatibilidade mais ampla e custos mais baixos. Embora o RoCE seja ligeiramente inferior em latência e gerenciamento multilocatário, é uma alternativa altamente competitiva que desafia a posição do InfiniBand.