DAC InfiniBand XDR de 1.6T: por que o cobre passivo ainda é importante em clusters de IA

Com o InfiniBand XDR elevando a largura de banda de porta única para 1.6 Tb/s,, as redes de clusters de GPUs de IA estão entrando em uma nova fase de interconexões de alta velocidade baseadas em vias elétricas PAM4 de 200 Gb/s. Por trás da busca por largura de banda de comunicação extrema, os arquitetos de rede enfrentam novos desafios físicos: à medida que a interface elétrica por via evolui para PAM4 de 200 Gb/s, os requisitos de energia e térmicos das interconexões ópticas de 1.6T tornam-se cada vez mais exigentes. Em racks de GPUs de alta densidade, a implantação de grandes quantidades de transceptores ópticos de alta velocidade pode aumentar significativamente o consumo de energia das portas do switch e os requisitos térmicos gerais do chassi. Nesta evolução tecnológica, o cabo de cobre passivo de conexão direta InfiniBand XDR de 1.6T não foi descontinuado. Pelo contrário, aproveitando suas características físicas passivas e de baixa complexidade, ele continua tendo significativo valor de engenharia para interconexões de alta velocidade e curto alcance dentro do rack.

Uma escolha pragmática para interconexões de curto alcance dentro do rack

DACs passivos de 1.6T são projetados principalmente para conexões de alta velocidade e curto alcance dentro de racks de data center. Nas diretrizes atuais de implementação XDR, os DACs passivos são voltados principalmente para dois cenários específicos:

Switch para servidor: Em racks de computação de alta densidade, servidores de IA equipados com SmartNICs ConnectX conectam-se diretamente a switches top-of-rack.

Switch para switch: Usado para interligar equipamentos de rede no mesmo rack em distâncias físicas extremamente curtas.

Para essas implantações de alcance extremamente curto, os DACs passivos oferecem duas vantagens principais no nível do sistema em relação a outros formatos de interconexão:

Conexões passivas para reduzir o consumo de energia

Fiel ao nome, um DAC passivo não contém componentes de conversão optoeletrônica, chips DSP nem outros componentes eletrônicos ativos de condicionamento de sinal. Consequentemente, o próprio cabo não requer uma fonte de alimentação independente. Em comparação com transceptores ópticos ou cabos elétricos ativos que exigem processamento ativo de sinal, os DACs passivos evitam o consumo adicional de energia associado ao processamento ativo do sinal nas extremidades do link, permitindo que o sistema destine os valiosos orçamentos de energia aos recursos de computação das GPUs.

Conexões simplificadas e baixa latência

Para conexões de curto alcance dentro do rack, os DACs passivos contornam os caminhos de conversão optoeletrônica e o processamento ativo de sinal associado, necessários para transceptores ópticos. Esse enlace físico simplificado reduz o processamento adicional de sinal e a sobrecarga de conversão, oferecendo benefícios concretos para clusters de treinamento de IA altamente sensíveis à latência ponta a ponta e de cauda.

Por que nem todos os links XDR usam DACs

Enquanto DACs de 1.6T oferecem vantagens em eficiência energética e simplicidade de conexão, mas não são uma solução universal para redes de 1.6T. No ecossistema de interconexão de alta velocidade, a distância física e a integridade do sinal estão naturalmente em conflito.

À medida que a distância do cabeamento aumenta, as perdas dielétricas e do condutor tornam-se cada vez mais significativas para sinais elétricos PAM4 de classe 224G em cobre. Para manter a integridade do sinal, os projetos DAC passivos normalmente dependem da otimização das bitolas dos condutores, das estruturas dos cabos e dos projetos dos conectores. No entanto, a adoção de bitolas de fio mais grossas (AWG menor) inevitavelmente resulta em cabos mais volumosos e pesados, além de exigir raios mínimos de curvatura maiores.

Portanto, quando as distâncias dos enlaces excedem o alcance viável de um DAC passivo, a arquitetura de rede precisa migrar para outros formatos de interconexão: cabos de cobre ativos lineares (LACC) ou AECs são usados para cobrir distâncias maiores dentro do rack, enquanto transceptores ópticos 1.6T geralmente são a opção mais adequada para implantações entre racks, de maior distância ou com restrição de espaço.

QSFPTEK 1.6T InfiniBand XDR DAC: enfrentando os desafios da integridade de sinal PAM4 de 200G

Na era de 1.6T, o foco do projeto de DACs passivos foi muito além da conectividade básica dos condutores e passou a priorizar o controle rigoroso da integridade do sinal em alta velocidade. A sinalização PAM4 de 200 Gb/s é altamente sensível à perda no cabo, às descontinuidades de impedância e à diafonia. O controle insuficiente da perda de inserção, da perda de retorno ou da diafonia em cabos de cobre pode degradar a qualidade do sinal no receptor, aumentando o risco de erros de bits e, por fim, comprometendo a estabilidade do link e a eficiência da comunicação do cluster.

Com foco no cabeamento intra-rack de alta densidade para implementações de 1.6T, a QSFPTEK concentrou seus esforços de engenharia e fabricação para o DAC InfiniBand XDR de 1.6T em três dimensões críticas:

Estruturas de cabos de alta velocidade e processamento de interconexões: Utilizando estruturas e materiais de cabos de cobre de alta velocidade otimizados para links PAM4 de 200G, combinados com técnicas de terminação de precisão, o projeto se concentra no controle da continuidade da impedância na zona de transição do conector, ajudando a controlar a perda de inserção e a perda de retorno em altas frequências na camada física.

Mitigação de EMI e diafonia: Para lidar com os complexos ambientes eletromagnéticos dentro de racks de alta densidade, são implementadas estruturas otimizadas de blindagem de cabos e designs de carcaças de conectores OSFP. Isso reduz os riscos de interferência eletromagnética externa e suprime efetivamente o acoplamento de diafonia entre canais adjacentes durante o empilhamento de alta densidade.

Validação de interoperabilidade da plataforma: Antes da implantação no mercado, cada geração de cabos de cobre de alta velocidade passa por testes rigorosos de links de alta velocidade e interoperabilidade com as plataformas InfiniBand-alvo (por exemplo, switches de alto throughput e SmartNICs de próxima geração). Esse processo valida a estabilidade dos links de alta velocidade em várias combinações de comprimentos e verifica os estados dos links e as taxas de erro em condições de Forward Error Correction, com base nas configurações específicas das plataformas-alvo.

Conclusão

A era de 1.6T já não é dominada por uma única tecnologia de interconexão. Embora as conexões entre campus e de longa distância dependam fortemente das comunicações ópticas, o DAC passivo InfiniBand XDR de 1.6T continua sendo um pilar fundamental da camada física de curto alcance. Com uma arquitetura totalmente passiva, ele oferece uma solução de interconexão de baixa complexidade que equilibra consumo de energia e latência. Ao construir data centers de IA de próxima geração, é essencial adequar cabos de cobre passivos, cabos ativos e transceptores ópticos às distâncias e restrições físicas reais para equilibrar o desempenho dos links, o consumo de energia, o espaço para cabeamento e o custo total de propriedade.