Como funciona a rede de data center de IA?

O que é rede de data center de IA?

Rede de data center de IA refere-se à infraestrutura de rede no data center que atende a funções de inteligência artificial (IA). A rede que atende a essas funções exige maior escalabilidade de rede, alto desempenho e baixa latência em comparação com redes anteriores. As cargas de trabalho de IA e aprendizado de máquina (ML) são mais exigentes do que tarefas normais de rede, especialmente durante fases intensivas de treinamento de IA.

A comunicação rápida e divertida do InfiniBand entre servidores e sistemas de armazenamento tornou essa tecnologia de rede uma tecnologia proprietária popular para computação de alto desempenho (HPC) e redes de treinamento de IA. Posteriormente, a Ethernet ganhou força significativa no mercado de redes de data centers de IA como uma solução tecnológica alternativa aberta e pode se tornar a tecnologia dominante em desenvolvimentos futuros.

Há vários motivos para o foco crescente em Ethernet em redes de data centers de IA, sendo a eficiência operacional e o controle de custos os primeiros e mais aparentes. No lado do gerenciamento técnico, Ethernet agora conta com um grande grupo de engenheiros de rede capazes de construir e gerenciar redes, enquanto a expertise em redes proprietárias InfiniBand é mais limitada. Em segundo lugar, o controle de custos também é um grande motivo. Para equipamentos de data centers de IA com os atuais 400Gb Ethernet, o preço geral é consideravelmente mais barato do que as soluções InfiniBand; os equipamentos InfiniBand e as ferramentas de gerenciamento são obtidos principalmente por meio da Nvidia, enquanto a Ethernet tem amplo acesso a ferramentas de gerenciamento de rede.

Como funciona a rede de data center de IA?

Além do fato de que servidores GPU estão sendo implantados em grande número para atender às enormes demandas de computação dos data centers de IA e, portanto, o custo geral está aumentando, os componentes de rede dos data centers de IA também precisam melhorar a utilização das GPUs, o que significa que precisam estar conectados em rede de forma mais eficiente. A rede Ethernet é uma tecnologia aberta comprovada e é uma solução adequada para redes de data centers de IA que podem ser especificamente projetadas para as necessidades de rede das cargas de trabalho de IA. Sua arquitetura de rede é aprimorada por gerenciamento de congestionamento, balanceamento de carga e baixa latência, o que otimiza o tempo de conclusão das tarefas (JCT). O gerenciamento simplificado e a automação também contribuem para a confiabilidade da rede e o desempenho consistente.

Design de Tecido

A rede de Data Center de IA pode usar uma variedade de projetos arquitetônicos, mas sugere-se escolher uma arquitetura Clos sem bloqueio any-to-any. Esse design otimiza a estrutura de treinamento aproveitando velocidades de rede consistentes de 400 Gbps (possivelmente aumentando para 800 Gbps) da NIC até o leaf e o backbone. Com base no tamanho das GPUs e no tamanho do modelo, pode ser implementada uma estrutura sem bloqueio de dois níveis e três camadas ou uma estrutura sem bloqueio de três níveis e cinco camadas.

Controle de fluxo e prevenção de congestionamento

Além da capacidade de Fabric, outras considerações de projeto são essenciais para melhorar a confiabilidade e a eficiência do Fabric como um todo. Essas considerações incluem interconexões de fabric dimensionadas adequadamente, com um número ideal de links, e a capacidade de verificar e corrigir desequilíbrios de tráfego para evitar congestionamento e perda de pacotes. Explicit Congestion Notification (ECN), Data Center Quantified Congestion Notification (DCQCN) e Priority-Based Flow Control tratam dos desequilíbrios de tráfego para garantir a transmissão de dados sem perdas.

O balanceamento de carga dinâmico e adaptativo é implantado em switches para reduzir o congestionamento de dados. O balanceamento de carga dinâmico e a redistribuição de tráfego localmente no switch resultam em uma distribuição uniforme do tráfego. O balanceamento de carga adaptativo monitora o encaminhamento de tráfego e as tabelas de próxima transferência para identificar desequilíbrios e direcionar o tráfego para longe de caminhos congestionados.

O ECN notifica os aplicativos com antecedência quando o congestionamento de dados é inevitável. Durante esse período, leafs e spines são atualizados com pacotes habilitados para ECN para informar o remetente sobre o congestionamento, permitindo que ele reduza a velocidade da transmissão para evitar perda de pacotes. Se o remetente não responder prontamente, o Priority-based Flow Control (PFC) permite que receptores e remetentes Ethernet compartilhem feedback sobre a disponibilidade do buffer. Por fim, durante o congestionamento, switches leaf e spine pausam ou limitam o tráfego com links específicos para aliviar o congestionamento e evitar perda de pacotes, possibilitando a transmissão sem perdas de classes específicas de tráfego.

Escala e desempenho

As soluções Ethernet se tornaram os padrões abertos preferidos para lidar com aplicações de HPC e IA. Olhando para o futuro (800GbE e Data Center Bridging (DCB)), a natureza mais rápida, confiável e escalável da Ethernet a torna capaz de lidar com os requisitos de alta taxa de transferência de dados e baixa latência das aplicações de IA de missão crítica.

Automação

A automação pode ajudar as soluções de rede para data centers de IA a concluir efetivamente o ciclo final; nem toda automação é igual e, para concretizar o valor total da capacidade da rede, o software de automação precisa oferecer operações com experiência em primeiro lugar. Ela pode ser em inglês no projeto, implantação e gerenciamento de data centers de IA. Permite um projeto e uma implantação de data centers de IA repetíveis e continuamente validados; além de eliminar erros causados por humanos, também pode aproveitar dados de telemetria e tráfego para otimizar o desempenho, facilitar a solução proativa de falhas e evitar interrupções de rede.

Por que você precisa de redes de data center de IA para atender às demandas impulsionadas por IA?

A rede de data center de IA atende aos requisitos impulsionados pela IA generativa e por modelos de IA de aprendizagem profunda em larga escala. O desenvolvimento de modelos de IA envolve três fases:

Fase 1: Preparação de dados - Coleta e organização de conjuntos de dados para treinar modelos de IA.

Fase 2: Treinamento de IA - Treine o modelo de IA expondo-o a grandes quantidades de dados para que ele aprenda padrões e relações para desenvolver inteligência.

Fase 3: Inferência de IA - Aplicar modelos treinados a cenários do mundo real para fazer previsões ou tomar decisões com base em dados novos e desconhecidos.

Embora o Estágio 3 normalmente aproveite data centers e redes em nuvem existentes, o Estágio 2 (treinamento de IA) requer recursos significativos de dados e computação para dar suporte ao processo de aprendizado iterativo. Unidades de Processamento Gráfico (GPUs) são comumente usadas para aprendizado e inferência de IA, frequentemente em configurações de cluster para aumentar a eficiência. No entanto, escalar clusters pode aumentar os custos, destacando a importância de redes de data centers de IA que não comprometam a eficiência do cluster.

Treinar modelos grandes requer conectar um grande número de servidores GPU, às vezes dezenas de milhares, a um custo de mais de $400,000 por servidor em 2023. Portanto, otimizar os tempos de conclusão de trabalhos e minimizar a latência de cauda, em que cargas de trabalho de IA anômalas desaceleram a conclusão geral dos trabalhos, é fundamental para maximizar o retorno sobre o investimento em GPU. Nesse contexto, as redes de data centers de IA devem ser confiáveis e evitar a perda de eficiência do cluster.

Perguntas frequentes sobre redes de data centers de IA 

Que problema a rede de data center de IA resolve?

A inteligência artificial tem uma demanda muito alta pelas grandes quantidades de dados e pela computação de recursos necessárias para IA generativa e aprendizado profundo, a fim de dar suporte ao processo iterativo de desenvolvimento de modelos, no qual os modelos de IA aprendem e aprimoram seus parâmetros a partir dos dados que estão coletando constantemente. Os processadores gráficos são bem adequados para cargas de trabalho de aprendizado e inferência de IA, mas, além de construir clusters de GPU, data centers significativos precisam melhorar a eficiência dos modelos de IA à medida que expandem seus clusters, um processo que também aumenta os custos; portanto, é essencial usar uma rede de data centers de IA que não comprometa a eficiência do cluster.

Ethernet vs. InfiniBand: qual é melhor para redes de data center de IA?

Embora InfiniBand, uma tecnologia proprietária, tenha trazido alguns avanços e inovação para a tecnologia de IA, o uso de equipamentos InfiniBand é caro, não pode ser barateado para um mercado competitivo de oferta e demanda e precisa ser combinado com técnicos de rede proprietários. A tecnologia Ethernet, por outro lado, é a tecnologia de rede mais amplamente usada no mundo depois da tecnologia IP e também pode atender aos requisitos de alta taxa de transferência de dados e baixa latência das aplicações de IA, com instâncias 800GbE da tecnologia Ethernet agora disponíveis com recursos aprimorados de Data Center Bridging (DCB). Para a tecnologia InfiniBand, que é fornecida principalmente pela NVIDIA, uma variedade maior de ferramentas de gerenciamento pode ser usada em redes Ethernet do que na tecnologia InfiniBand. Em resumo, as malhas Ethernet tornam-se ideais para tráfego de IA de alta prioridade e missão crítica.