ConnectX-7 vs. ConnectX-8: comparação entre 400G e 800G para clusters de IA

NVIDIA ConnectX-7 e ConnectX-8 são voltados para redes de alta velocidade em ambientes de IA, HPC e data centers, mas atendem a diferentes etapas da evolução das redes. O ConnectX-7 está associado à conectividade 400G NDR e 400GbE, enquanto o ConnectX-8 amplia a plataforma para XDR InfiniBand de 800Gb/s e configurações flexíveis de 400GbE. As velocidades das portas, por si só, não contam toda a história. No entanto, a conectividade PCIe, o protocolo de rede, o formato do transceptor e os requisitos da carga de trabalho também determinam qual geração faz mais sentido para um cluster de IA.

O que são NVIDIA ConnectX-7 e ConnectX-8? 

O que é a placa de rede inteligente NVIDIA ConnectX-7? 

NVIDIA ConnectX-7 é um adaptador de rede de alta velocidade projetado para ambientes InfiniBand e Ethernet. O ConnectX-7 está disponível em diferentes configurações de adaptador, incluindo modelos de porta única de 400Gb/s com interfaces OSFP ou QSFP112, dependendo do adaptador específico. A documentação da NVIDIA lista configurações de porta única compatíveis com NDR 400Gb/s e 400GbE, além de outras configurações de velocidade mais baixa. 

O ConnectX-7 também é compatível com PCIe Gen5 x16, oferecendo a interface de host necessária para transferências de dados de alta velocidade entre o adaptador de rede e o servidor. Seus recursos o tornam adequado para treinamento de IA, HPC, infraestrutura em nuvem e outras cargas de trabalho nas quais baixa latência e alto throughput são importantes.

O que é NVIDIA CX8?

O NVIDIA ConnectX-8 é a próxima geração da plataforma ConnectX e foi projetado para redes de IA e data centers com maior largura de banda. A NVIDIA descreve os SuperNICs ConnectX-8 como compatíveis com até 800Gb/s de largura de banda de rede total.

O C8180, por exemplo, pode operar com uma porta InfiniBand XDR de 800Gb/s ou ser configurado como duas portas 400GbE. Essa distinção é importante: 800Gb/s XDR InfiniBand e 2×400GbE são configurações compatíveis, não uma única porta Ethernet 800GbE. ConnectX-8 oferece suporte à conectividade PCIe Gen6 e é retrocompatível com PCIe Gen5.

ConnectX-7 vs. ConnectX-8: quais são as principais diferenças?

A diferença mais evidente entre as duas gerações é a largura de banda da rede, mas a atualização também envolve a interface de host subjacente e a arquitetura de rede.

Largura de banda de rede 400G vs. 800G

O ConnectX-7 é adequado para arquiteturas de rede de 400G. Um adaptador ConnectX-7 de porta única pode oferecer suporte a 400GbE ou NDR 400Gb/s,, dependendo do modelo e da configuração. ConnectX-8 eleva o limite para 800Gb/s em sua configuração XDR InfiniBand. O C8180 da NVIDIA também pode ser configurado como duas portas 400GbE, oferecendo flexibilidade para diferentes arquiteturas de rede.

Em cargas de trabalho de IA, a migração de 400G para 800G pode fornecer até o dobro da largura de banda de rede por porta para comunicações entre GPUs. À medida que aumenta o número de GPUs e o treinamento distribuído gera mais tráfego leste-oeste entre os nós de computação, esse caso de uso se torna cada vez mais relevante.

InfiniBand NDR vs. XDR

O ConnectX-7 é compatível com InfiniBand NDR 400Gb/s, usando quatro lanes de 100Gb/s. O ConnectX-8 adiciona InfiniBand XDR 800Gb/s, usando quatro lanes de 200Gb/s. Essa taxa mais alta por via é uma das razões fundamentais pelas quais o ConnectX-8 pode fornecer conectividade XDR de 800Gb/s. Para grandes clusters de treinamento de IA, uma maior largura de banda pode ajudar a reduzir as limitações da rede durante cargas de trabalho distribuídas intensivas.

PCIe Gen5 vs. Gen6

O ConnectX-7 utiliza PCIe Gen5 x16 nas configurações de adaptadores de alta velocidade compatíveis. O ConnectX-8 suporta PCIe Gen6 x16 e também é retrocompatível com PCIe Gen5. A interface com o host é importante porque uma NIC de alta velocidade precisa de largura de banda suficiente entre o adaptador e o servidor. Portanto, a atualização para uma interface de rede de 800Gb/s precisa ser considerada em conjunto com a plataforma do servidor, a configuração PCIe, a arquitetura de GPU e o projeto geral do sistema.

Como o ConnectX-8 oferece suporte a clusters de IA de 800G?

NVIDIA ConnectX-8 e redes de IA de 800G

A principal vantagem de ConnectX-8 para a infraestrutura de IA de próxima geração é sua capacidade de oferecer suporte a maior largura de banda de rede e, ao mesmo tempo, fornecer configurações flexíveis de portas. O C8180 oferece suporte a uma configuração InfiniBand XDR de 800Gb/s e também pode ser configurado com duas portas 400GbE. Isso torna o ConnectX-8 particularmente relevante para clusters de IA, nos quais o tráfego de rede entre GPUs e servidores pode se tornar um fator limitante. Redes de maior velocidade podem oferecer mais largura de banda por porta de alta velocidade, o que pode ajudar a simplificar a expansão da rede em algumas arquiteturas de cluster.

ConnectX-8 para treinamento de IA em larga escala

O treinamento de IA em larga escala depende fortemente da comunicação entre GPUs. Operações como sincronização de gradientes e comunicação coletiva podem gerar tráfego de rede substancial em um cluster distribuído.

À medida que o desempenho das GPUs continua aumentando, a largura de banda da rede pode se tornar um fator cada vez mais importante em clusters de IA de grande escala. O ConnectX-8 foi projetado para esse ambiente, oferecendo conectividade 800Gb/s XDR, PCIe Gen6 e recursos de rede voltados a melhorar o desempenho de clusters de IA.

Isso não significa que todo cluster de IA precise de 800G. O benefício real depende da quantidade de GPUs, da carga de trabalho, da topologia da rede e de a rede existente já estar se aproximando dos limites de largura de banda.

Quando o ConnectX-7 ainda é suficiente para clusters de IA?  

Para muitas redes de IA e HPC de 400G, o ConnectX-7 continua sendo uma opção viável. Para clusters que já estão implantando 400G NDR ou 400GbE e cujas cargas de trabalho não saturam essa capacidade, a migração para o ConnectX-8 pode não oferecer valor adicional suficiente para justificar uma atualização completa da infraestrutura.

Também pode fazer sentido quando a plataforma do servidor, os switches, os componentes ópticos ou o cabeamento são projetados para 400G. Nessas situações, o ConnectX-7 pode fornecer a largura de banda necessária sem introduzir os requisitos adicionais associados a uma implementação de 800G.

Quais transceptores e cabos funcionam com ConnectX-7 e ConnectX-8?

Transceptores e cabos 400G para ConnectX-7   

As configurações ConnectX-7 de alta velocidade podem usar QSFP112 ou OSFP, dependendo do modelo do adaptador. Por exemplo, a NVIDIA documenta adaptadores ConnectX-7 com configurações de porta única QSFP112 e OSFP, compatíveis com conectividade de 400Gb/s. Dependendo do projeto da rede, transceptores ópticos 400G, DACs, AOCs e cabeamento de fibra podem ser usados para conectar a NIC a switches compatíveis.

Transceptores e cabos 800G para ConnectX-8

Os modelos ConnectX-8 C8180 usam um único receptáculo de rede OSFP para sua configuração de 800Gb/s, enquanto os modelos C8240 usam duas portas QSFP112, com cada porta suportando até 400GbE.  Portanto, uma implantação de 800G precisa considerar não apenas a velocidade óptica, mas também a interface física e o modelo específico do ConnectX-8. Módulos ópticos, DACs, AOCs e infraestrutura de fibra compatíveis com 800G devem ser selecionados de acordo com a NIC, o switch, a distância e o protocolo de rede.

Considerações de compatibilidade entre ConnectX-7 e ConnectX-8

A velocidade não é o único fator a considerar. Ao selecionar um transceptor ou cabo, você deve verificar o modelo da NIC, o tipo de porta, o protocolo compatível, o comprimento de onda óptico, a taxa de dados, a distância de transmissão, o tipo de conector e a interface no lado do switch. Por exemplo, não se deve presumir automaticamente que uma solução OSFP de 800G destinada a um ConnectX-8 C8180 funcionará com todos os adaptadores ConnectX-8 ou ConnectX-7. A NVIDIA lista interfaces e configurações diferentes entre seus modelos de adaptador.

ConnectX-7 vs. ConnectX-8: qual você deve escolher?  

Escolha o ConnectX-7 para redes de IA e HPC de 400G

O ConnectX-7 é uma ótima opção quando a arquitetura de rede é centrada em 400G. Ele é adequado para redes NDR existentes, ambientes 400GbE e clusters de IA ou HPC cujas cargas de trabalho podem ser atendidas com eficiência por conectividade 400Gb/s.

Também pode ser a opção mais prática quando atualizar a rede exigiria, caso contrário, substituir switches, transceptores, cabos e plataformas de servidor.

Escolha o ConnectX-8 para clusters de IA de 800G

O ConnectX-8 é mais adequado para novas infraestruturas de IA de alta largura de banda que podem aproveitar a conectividade XDR de 800Gb/s. É particularmente relevante para ambientes de treinamento de IA em grande escala, nos quais se espera que o tráfego de rede entre GPUs e servidores cresça significativamente. No entanto, a decisão deve se basear em toda a arquitetura da rede, e não apenas na largura de banda da NIC. Servidores, switches, interfaces PCIe, transceptores e cabeamento precisam oferecer suporte à configuração planejada.

Conclusão

ConnectX-7 e ConnectX-8 representam diferentes estágios das redes de alta velocidade para clusters de IA e HPC. O ConnectX-7 permite conectividade de até 400Gb/s e se adapta bem a muitas implantações existentes de 400G. O ConnectX-8 amplia a plataforma para InfiniBand XDR de 800Gb/s, com suporte a PCIe Gen6 e configurações flexíveis de portas para infraestrutura de IA de próxima geração.

Em uma rede 400G já estabelecida, o ConnectX-7 ainda pode oferecer o equilíbrio certo entre desempenho e requisitos de infraestrutura. Para um novo cluster de IA em grande escala projetado para redes 800G, o ConnectX-8 oferece um caminho para maior capacidade de rede. Em ambos os casos, a NIC deve ser selecionada em conjunto com os switches, transceptores, cabos e interfaces de servidor apropriados.