Como escolher interconexões 200G: InfiniBand HDR vs. Ethernet

Ao analisar projetos de arquitetura para centros de dados modernos e clusters de treino de IA, os engenheiros de redes deparam-se frequentemente com uma decisão crítica: escolher entre InfiniBand HDR e Ethernet 200GbE. Uma taxa de dados comum de 200G não significa que as duas tecnologias funcionem da mesma forma. Tanto InfiniBand HDR como Ethernet 200GbE suportam conectividade 200G QSFP56 utilizando quatro vias 50G PAM4. Dependendo da plataforma e das especificações dos cabos, estes sistemas podem utilizar cabos DAC passivos ou cabos óticos ativos para ligações de curto e médio alcance. No entanto, a compatibilidade dos conectores físicos não garante automaticamente a compatibilidade dos protocolos.

Arquitetura de transporte e controlo de fluxo

Para compreender por que razão uma ligação 200G se comporta de forma diferente consoante o protocolo que nela opera, temos de examinar os respetivos mecanismos de transporte e controlo de fluxo. Independentemente do protocolo escolhido, colocar em funcionamento com êxito qualquer ligação 200G de alta densidade depende de meios físicos robustos, como a implementação de cabos DAC 200G para ligações de curto alcance no topo do bastidor.

Ethernet com RoCEv2: Ethernet é, fundamentalmente, uma tecnologia de comutação de pacotes de uso geral. RoCEv2 transporta tráfego de transporte RDMA sobre Ethernet utilizando encapsulamento UDP/IP. Isto permite que as aplicações RDMA funcionem em redes IP encaminhadas, mantendo grande parte do modelo de transporte RDMA. No entanto, também introduz considerações adicionais ao nível da camada de rede, incluindo o encaminhamento IP, a gestão do congestionamento e o comportamento da entrega de pacotes. A Ethernet convencional não fornece o mesmo controlo de fluxo baseado em créditos ao nível da ligação utilizado por InfiniBand. Nas implementações RoCEv2 sensíveis à latência, os operadores de rede combinam normalmente mecanismos como o controlo de fluxo baseado em prioridades e a notificação explícita de congestionamento com algoritmos de controlo de congestionamento como DCQCN. Estas funcionalidades podem ajudar a reduzir a perda de pacotes em situações de congestionamento, mas a sua eficácia depende fortemente de uma configuração adequada, da gestão dos buffers e da engenharia de tráfego.

InfiniBand HDR: InfiniBand foi concebido especificamente para computação em cluster com baixa latência e elevado débito, como uma malha comutada nativa. Utiliza controlo de fluxo baseado em créditos para regular o tráfego ao nível da ligação: um emissor tem de dispor de créditos suficientes, que indicam o espaço disponível no buffer do recetor, antes de transmitir dados. Entretanto, um gestor de sub-rede centralizado trata da descoberta, configuração e gestão de caminhos da malha. Esta arquitetura ajuda a evitar a sobrecarga dos buffers dos recetores causada pelo congestionamento e reduz a dependência da configuração PFC típica de Ethernet. No entanto, não garante a eliminação de todas as formas de erros de pacotes, congestionamento ou retransmissões em toda a malha.

RDMA e desempenho dos clusters de IA

O treino moderno de IA, em particular o treino de grandes modelos de linguagem, depende fortemente de operações de comunicação coletiva como All-Reduce, All-Gather e Reduce-Scatter. Estas operações permitem que GPUs distribuídas por vários servidores troquem dados e sincronizem parâmetros ou gradientes do modelo durante o treino. Durante as operações coletivas, os atrasos de comunicação em nós individuais podem prolongar o tempo de conclusão de uma iteração de treino. Quando a sincronização se torna um estrangulamento, os nós mais rápidos podem ter de esperar pelos participantes mais lentos, reduzindo a utilização global das GPUs.

RDMA é fundamental em ambas as arquiteturas. Tanto InfiniBand como RoCEv2 suportam RDMA, permitindo que uma NIC transfira dados diretamente entre regiões de memória registadas em sistemas remotos, com um envolvimento mínimo da CPU do anfitrião. Ao reduzir as cópias de dados e o processamento no kernel no percurso dos dados, RDMA ajuda a diminuir a sobrecarga da CPU e a melhorar a eficiência da comunicação para cargas de trabalho de elevado desempenho.

InfiniBand nativo fornece uma arquitetura de transporte e de malha concebida especificamente para computação de elevado desempenho. RoCEv2 também pode proporcionar elevado desempenho RDMA sobre Ethernet, mas obter resultados consistentes em grande escala exige especial atenção ao controlo de congestionamento, à gestão de filas e à configuração da rede.

Comparação entre 200G InfiniBand HDR e 200GbE RoCEv2

Escolher a interligação 200G adequada

A escolha entre estas duas tecnologias exige uma avaliação abrangente das cargas de trabalho das suas aplicações, da infraestrutura existente e da experiência operacional e maturidade técnica da sua equipa.

Para clusters de AI e HPC de grande escala:

Se a sua principal carga de trabalho envolve o treino de grandes redes neuronais em clusters massivos de GPU, nos quais a latência de sincronização entre nós afeta diretamente o tempo de treino, o InfiniBand oferece uma arquitetura de rede especificamente concebida para esses cenários. O seu mecanismo de controlo de fluxo baseado em créditos regula a transmissão de dados na camada de ligação, enquanto um Subnet Manager centralizado facilita a gestão unificada das configurações de rede e dos percursos de dados. Em ambientes de grande escala com expansão horizontal, a gestão centralizada de sub-redes e o controlo de fluxo baseado em créditos ao nível da ligação do InfiniBand ajudam a simplificar a administração da rede, reduzindo a necessidade de configurações complexas de PFC e de ajustes de congestionamento típicos da Ethernet. No entanto, antes da implementação, deve avaliar a familiaridade da sua equipa com a gestão de um Subnet Manager, analisar a infraestrutura de switches existente e considerar os requisitos futuros de expansão do seu cluster.

Para ambientes:

Se a sua infraestrutura tiver de suportar uma gama diversificada de cargas de trabalho, como virtualização de uso geral, microsserviços em contentores e armazenamento em blocos de alto desempenho, uma solução Ethernet 200GbE que utilize RoCEv2 oferece maior flexibilidade. Integra-se perfeitamente com as tecnologias empresariais existentes de encaminhamento e virtualização de rede, como BGP e EVPN-VXLAN. Ainda assim, a implementação de RoCEv2 exige um planeamento meticuloso de QoS e da gestão de congestionamento. Deve garantir que os switches do seu centro de dados suportam marcação ECN e PFC e verificar se tanto as placas de interface de rede como a infraestrutura de rede em geral estão corretamente configuradas para mecanismos de controlo de congestionamento como o DCQCN. Além disso, a sua equipa de operações deve estabelecer normas claras de configuração e validação, com foco na priorização do tráfego, nos limiares de buffer e no comportamento do congestionamento da rede.

Considerações sobre cablagem DAC e AOC

Numa rede de centro de dados 200G, a escolha entre DAC e AOC é determinada sobretudo pela distância da ligação, pelos requisitos de encaminhamento dos cabos e pela compatibilidade da plataforma. A conectividade da camada física desempenha um papel fundamental na manutenção da integridade do sinal nas ligações 200G.

Cabos DAC QSFP56 passivos: Como os cabos DAC passivos utilizam ligações elétricas diretas em vez de transcetores óticos e ligações de fibra, oferecem uma opção simples e económica para interligações 200G de curto alcance. No entanto, o comprimento do cabo, a perda de inserção, a integridade do sinal e os requisitos de FEC específicos da plataforma continuam a ter de ser considerados ao conceber ligações 200G. Nas configurações suportadas, uma porta QSFP56 200G pode ser dividida em duas ligações 100G utilizando um cabo de derivação compatível. Isto exige que a porta de origem, as interfaces a jusante e os dispositivos de rede suportem o mesmo modo de derivação e o mesmo mapeamento de vias.

Cabos óticos ativos (AOCs): Para ligações mais longas em que o comprimento dos cabos de cobre passivos ou as restrições de encaminhamento se tornam fatores limitantes, os cabos óticos ativos podem constituir uma alternativa prática. Para implementações de InfiniBand HDR, AOCs também estão disponíveis numa variedade de comprimentos e configurações de derivação, incluindo opções de 200G para duas ligações 100G (tenha em atenção que estas opções de derivação dependem do suporte específico do protocolo e do dispositivo). Estes conjuntos podem simplificar a conectividade quando a cablagem de cobre é inadequada ou quando são necessários percursos de cabos mais longos. Os engenheiros devem, ainda assim, verificar o protocolo suportado, o alcance e a compatibilidade dos equipamentos nas extremidades.

Conclusão

Alinhar a arquitetura de rede com os requisitos das cargas de trabalho é apenas parte do processo de conceção. Os engenheiros também devem verificar a compatibilidade dos cabos, as configurações de derivação, o alcance das ligações e o suporte dos equipamentos nas extremidades. Ao avaliar tanto o protocolo de rede como a interligação física, as equipas dos centros de dados podem construir infraestruturas 200G que se expandam de forma fiável para cargas de trabalho de AI, HPC e empresariais.