O que é InfiniBand e como ele funciona?

InfiniBand é uma arquitetura de rede de alto desempenho. Nos últimos anos, ela tem atraído cada vez mais atenção devido ao grande aumento dos modelos de HPC representados pelo ChatGPT. Isso porque esses modelos de HPC são baseados no InfiniBand desenvolvido pela NVIDIA. Ele é usado principalmente para transmissão de dados em alta velocidade entre sistemas e oferece suporte a vários modos de comunicação. A seguir, mostrarei em detalhes o que é InfiniBand e como ele funciona.

InfiniBand: Uma explicação detalhada

InfiniBand é uma tecnologia de interconexão de alta velocidade e baixa latência usada principalmente em data centers e ambientes de computação de alto desempenho. Ela pode fornecer uma arquitetura de rede de alto desempenho para áreas de serviço e instalações de armazenamento dentro de um cluster ou data center, bem como outros recursos de rede. Os dispositivos InfiniBand geralmente incluem Módulos ópticos InfiniBand, switches InfiniBand, etc.

Como funciona o InfiniBand

O InfiniBand geralmente usa uma arquitetura de duas camadas que separa a camada de rede da camada física e da camada de enlace de dados. Cada camada é responsável por funções diferentes. A camada física fornece conexões ponto a ponto diretas entre dispositivos por meio de links seriais de alta largura de banda, enquanto a camada de enlace de dados lida com a transmissão e a recepção de pacotes entre dispositivos. A camada de rede é responsável por fornecer os principais recursos do InfiniBand, como QoS, virtualização e RDMA. A coordenação entre as camadas torna o InfiniBand uma ferramenta poderosa para dar suporte ao trabalho de HPC que exige baixa latência e alta largura de banda.

InfiniBand: explicação do princípio de funcionamento

Depois de entender o que é InfiniBand, apresentarei a você seu princípio de funcionamento

RDMA: A função básica do InfiniBand

Uma função básica importante na arquitetura InfiniBand é RDMA, que permite que os dados sejam transmitidos diretamente no espaço de memória da aplicação sem passar pela CPU, o que pode não apenas reduzir a latência, mas também melhorar efetivamente a eficiência operacional do sistema. RDMA também é uma das funções básicas de muitos switches de data center.

Rede e arquitetura InfiniBand

InfiniBand usa uma arquitetura de malha de comutação para interconectar múltiplos nós por meio de switches. Sob essa arquitetura, comunicação de alta largura de banda e baixa latência pode ser fornecida entre os nós, o que é muito adequado para ambientes de aplicação como HPC. Os componentes dessa estrutura baseada em canais podem ser divididos nas quatro categorias a seguir:

HCA(Host Channel Adapter): É um adaptador de canal de host que atua como uma interface entre o host e a rede InfiniBand, convertendo o barramento de dados interno do host para o formato de dados InfiniBand.

TCA(Target Channel Adapter): É usado para a operação do dispositivo de destino dentro da rede InfiniBand. Sua função principal é gerenciar a recepção e o processamento de dados no dispositivo de destino.

Link InfiniBand: Refere-se à conexão física e lógica entre dois nós na rede InfiniBand, fornecendo um canal para transmissão de dados e suportando a troca de dados em alta velocidade. Geralmente usa meios como fibra óptica, cabo ou até mesmo links onboard dentro do dispositivo para estabelecer a conexão.

switches e roteadores InfiniBand: Esses dispositivos desempenham um papel importante na rede dentro da infraestrutura InfiniBand. Eles gerenciam o roteamento de pacotes de dados entre diferentes dispositivos conectados à rede para possibilitar comunicação e troca de dados sem interrupções.

Benefício do InfiniBand

Alta largura de banda e baixa latência: InfiniBand pode fornecer largura de banda de até 200Gbps ou até maior. Essa troca de dados em alta velocidade é extremamente importante para aplicações e cargas de trabalho que exigem grande throughput, como HPC e processamento de big data. InfiniBand também suporta transmissão direta de dados entre espaços de memória por meio de RDMA e arquitetura de switching fabric, mantendo a latência no nível de microssegundos, o que é muito importante para HFT e o setor financeiro.

Escalabilidade flexível: O InfiniBand também é bastante escalável, e sua arquitetura escalável pode atender às necessidades em constante mudança dos data centers. Ele se adapta às crescentes necessidades de negócios atualizando perfeitamente a capacidade da rede e oferece suporte à alocação dinâmica de recursos. Sua arquitetura pode suportar a interconexão de milhares de nós para atender às necessidades de computação de diferentes escalas.

Baixo consumo de energia: O InfiniBand oferece maior desempenho e também menor consumo de energia. Como usa RDMA, a transmissão de dados não precisa ser processada pela CPU, mas é transferida diretamente da memória de um nó para outro, o que reduz a carga sobre a CPU e diminui o consumo geral de energia. Além disso, os dispositivos InfiniBand têm aceleradores de hardware dedicados, que podem ser otimizados para processar e transmitir dados com mais eficiência, reduzindo o consumo de energia.

Alta confiabilidade: InfiniBand também oferece suporte à redundância de múltiplos caminhos e a mecanismos de recuperação rápida de falhas para garantir a confiabilidade e a disponibilidade da transmissão de dados.

Aplicação do InfiniBand

O InfiniBand desempenha um papel indispensável em vários setores atualmente. Sua capacidade de transmissão de dados em alta velocidade tornou-se uma solução essencial para muitos setores.

Aplicações de InfiniBand em Inteligência Artificial

Ao treinar modelos de inteligência artificial, é necessário processar um grande número de conjuntos de dados todos os dias. InfiniBand pode fornecer conexões de rede de alta largura de banda e baixa latência para acelerar o treinamento de modelos. Por meio de RDMA, também é possível haver comunicação entre nós com latência extremamente baixa, melhorando a eficiência do treinamento.

InfiniBand em cargas de trabalho de HPC

InfiniBand também desempenha um papel importante em cargas de trabalho HPC. Ele pode fornecer alta largura de banda e baixa latência, e processar uma grande quantidade de dados ao mesmo tempo, melhorando o desempenho geral da rede. Também é adequado para trabalhos particularmente sofisticados, como o setor financeiro, diagnóstico médico, etc.

Para rede de armazenamento

InfiniBand pode ser usado em redes de armazenamento para conectar arrays de armazenamento e dispositivos de rede, proporcionando acesso e transmissão de dados eficientes. Ele oferece suporte a RDMA, o que pode reduzir a latência do acesso ao armazenamento e melhorar o desempenho dos sistemas de armazenamento.

Transceptor InfiniBnad da QSFPTEK

Conclusão

O InfiniBand atinge seus objetivos esperados por meio de uma arquitetura única diante das crescentes exigências de largura de banda de rede e baixa latência. Ele não apenas atende aos requisitos de rede da computação de alto desempenho (HPC) e dos data centers, mas também oferece um bom suporte para o treinamento de modelos de inteligência artificial, como o ChatGPT. Em uma sociedade onde a ciência e a tecnologia avançam dia após dia, ele sem dúvida terá melhores cenários de aplicação no futuro. Se você tiver alguma dúvida sobre InfiniBand, entre em contato com os engenheiros CCIE/HCIE da QSFPTEK em [email protected].