ConnectX-7 vs ConnectX-8: AI 클러스터를 위한 400G 및 800G 비교

NVIDIA ConnectX-7 및 ConnectX-8은 AI, HPC 및 데이터 센터 환경을 위한 고속 네트워킹에 중점을 두지만, 네트워크 진화의 서로 다른 단계를 대상으로 합니다. ConnectX-7은 400G NDR 및 400GbE 연결성과 관련이 있는 반면, ConnectX-8은 플랫폼을 800Gb/s XDR InfiniBand 및 유연한 400GbE 구성으로 확장합니다. 포트 속도만으로는 전체 이야기를 설명할 수 없습니다. 그러나 PCIe 연결성, 네트워크 프로토콜, 트랜시버 폼 팩터 및 워크로드 요구 사항도 AI 클러스터에 어떤 세대가 더 적합한지를 결정합니다.

NVIDIA ConnectX-7 및 ConnectX-8이란 무엇인가요? 

NVIDIA ConnectX-7 Smart NIC란? 

NVIDIA ConnectX-7 InfiniBand 및 Ethernet 환경 모두를 위해 설계된 고속 네트워크 어댑터입니다. ConnectX-7은 특정 어댑터에 따라 OSFP 또는 QSFP112 인터페이스를 갖춘 단일 포트 400Gb/s 모델을 포함하여 다양한 어댑터 구성으로 제공됩니다. NVIDIA 문서에는 NDR 400Gb/s 및 400GbE를 지원하는 단일 포트 구성과 기타 저속 구성이 나와 있습니다. 

ConnectX-7은 또한 PCIe Gen5 x16을 지원하여 네트워크 어댑터와 서버 간 고속 데이터 전송에 필요한 호스트 인터페이스를 제공합니다. 이러한 기능 덕분에 AI 학습, HPC, 클라우드 인프라 및 낮은 지연 시간과 높은 처리량이 중요한 기타 워크로드에 적합합니다.

NVIDIA CX8이란?

NVIDIA ConnectX-8은 ConnectX 플랫폼의 차세대 제품이며, 더 높은 대역폭의 AI 및 데이터 센터 네트워크용으로 포지셔닝되어 있습니다. NVIDIA는 ConnectX-8 SuperNICs가 최대 800Gb/s의 총 네트워크 대역폭을 지원한다고 설명합니다.

예를 들어, C8180은 800Gb/s의 InfiniBand XDR 포트 하나로 작동하거나 두 개의 400GbE 포트로 구성될 수 있습니다. 이 차이는 중요합니다: 800Gb/s XDR InfiniBand 및 2×400GbE는 단일 800GbE Ethernet 포트가 아니라 지원되는 구성입니다. ConnectX-8은 PCIe Gen6 연결을 지원하며 PCIe Gen5와 하위 호환됩니다.

ConnectX-7과 ConnectX-8 비교: 주요 차이점은 무엇인가요?

두 세대 간 가장 눈에 띄는 차이는 네트워크 대역폭이지만, 업그레이드에는 기본 호스트 인터페이스와 네트워킹 아키텍처도 포함됩니다.

400G vs. 800G 네트워크 대역폭

ConnectX-7은 400G 네트워크 아키텍처에 매우 적합합니다. 단일 포트 ConnectX-7 어댑터는 모델 및 구성에 따라 400GbE 또는 NDR 400Gb/s,를 지원할 수 있습니다. ConnectX-8은 XDR InfiniBand 구성에서 한계를 800Gb/s까지 높입니다. NVIDIA의 C8180은 두 개의 400GbE 포트로도 구성할 수 있어 다양한 네트워크 아키텍처에 유연성을 제공합니다.

AI 워크로드의 경우, 400G에서 800G로 전환하면 GPU 통신을 위한 포트당 네트워크 대역폭을 최대 두 배까지 제공할 수 있습니다. GPU 수가 확장되고 분산 학습으로 컴퓨팅 노드를 통한 동서 트래픽이 더 많이 생성됨에 따라, 이는 점점 더 관련성이 높은 사용 사례가 되고 있습니다.

NDR vs. XDR InfiniBand

ConnectX-7은 4개의 100Gb/s 레인을 사용하여 NDR 400Gb/s InfiniBand를 지원합니다. ConnectX-8은 4개의 200Gb/s 레인을 사용하여 XDR 800Gb/s InfiniBand를 추가합니다. 이 더 높은 레인당 속도는 ConnectX-8이 800Gb/s XDR 연결을 제공할 수 있는 근본적인 이유 중 하나입니다. 대규모 AI 훈련 클러스터의 경우, 더 높은 대역폭은 집약적인 분산 워크로드 중 네트워크 제약을 줄이는 데 도움이 될 수 있습니다.

PCIe Gen5 vs. Gen6

ConnectX-7은 지원되는 고속 어댑터 구성에서 PCIe Gen5 x16을 사용합니다. ConnectX-8은 PCIe Gen6 x16을 지원하며 PCIe Gen5와도 하위 호환됩니다. 고속 NIC에는 어댑터와 서버 간에 충분한 대역폭이 필요하므로 호스트 인터페이스가 중요합니다. 따라서 800Gb/s 네트워크 인터페이스로 업그레이드할 때는 서버 플랫폼, PCIe 구성, GPU 아키텍처 및 전체 시스템 설계와 함께 고려해야 합니다.

ConnectX-8은 800G AI 클러스터를 어떻게 지원합니까?

NVIDIA ConnectX-8 및 800G AI 네트워킹

의 주요 장점 ConnectX-8 차세대 AI 인프라를 위한 핵심은 유연한 포트 구성을 제공하면서 더 높은 네트워크 대역폭을 지원할 수 있는 능력입니다. C8180은 800Gb/s XDR InfiniBand 구성을 지원하며, 두 개의 400GbE 포트로도 구성할 수 있습니다. 이로 인해 ConnectX-8은 GPU와 서버 간의 네트워크 트래픽이 제한 요인이 될 수 있는 AI 클러스터와 특히 관련이 있습니다. 더 빠른 네트워킹은 고속 포트당 더 많은 대역폭을 제공할 수 있으며, 이는 일부 클러스터 아키텍처에서 네트워크 확장을 단순화하는 데 도움이 될 수 있습니다.

대규모 AI 학습을 위한 ConnectX-8

대규모 AI 학습은 GPU 간 통신에 크게 의존합니다. 그래디언트 동기화 및 집단 통신과 같은 작업은 분산 클러스터 전반에 걸쳐 상당한 네트워크 트래픽을 생성할 수 있습니다.

GPU 성능이 계속 향상됨에 따라, 네트워크 대역폭은 대규모 AI 클러스터에서 점점 더 중요한 요소가 될 수 있습니다. ConnectX-8은 이 환경을 위해 설계되었으며, 800Gb/s XDR 연결성, PCIe Gen6 및 AI 클러스터 성능 향상을 목표로 하는 네트워킹 기능을 제공합니다.

이는 모든 AI 클러스터에 800G가 필요하다는 의미는 아닙니다. 실제 이점은 GPU 수, 워크로드, 네트워크 토폴로지, 그리고 기존 네트워크가 이미 대역폭 한계에 근접했는지 여부에 따라 달라집니다.

ConnectX-7은 언제 AI 클러스터에 여전히 충분한가?  

많은 400G AI 및 HPC 네트워크에서 ConnectX-7은 여전히 실행 가능한 옵션입니다. 이미 400G NDR 또는 400GbE를 배포하고 있고 워크로드가 해당 용량을 포화시키지 않는 클러스터의 경우, ConnectX-8로의 전환이 전체 인프라 교체를 정당화할 만큼 충분한 추가 가치를 제공하지 않을 수 있습니다.

서버 플랫폼, 스위치, 광학 장치 또는 케이블링이 400G를 중심으로 설계된 경우에도 합리적일 수 있습니다. 이러한 상황에서 ConnectX-7은 800G 배포와 관련된 추가 요구 사항을 도입하지 않고도 필요한 대역폭을 제공할 수 있습니다.

ConnectX-7 및 ConnectX-8과 함께 작동하는 트랜시버와 케이블은 무엇입니까?

ConnectX-7용 400G Transceivers and Cables   

고속 ConnectX-7 구성은 어댑터 모델에 따라 QSFP112 또는 OSFP를 사용할 수 있습니다. 예를 들어, NVIDIA는 400Gb/s 연결을 지원하는 single-port QSFP112 및 single-port OSFP 구성을 갖춘 ConnectX-7 어댑터를 문서화하고 있습니다. 네트워크 설계에 따라 400G 광 트랜시버, DAC, AOC 및 광섬유 케이블링을 사용하여 NIC를 호환 스위치에 연결할 수 있습니다.

ConnectX-8용 800G 트랜시버 및 케이블

ConnectX-8 C8180 모델은 800Gb/s 구성에 단일 OSFP 네트워킹 케이지를 사용하는 반면, C8240 모델은 듀얼 QSFP112 포트를 사용하며, 각 포트는 최대 400GbE를 지원합니다.  따라서 800G 구축에서는 광 속도뿐만 아니라 물리적 인터페이스와 특정 ConnectX-8 모델도 고려해야 합니다. 호환되는 800G 광 모듈, DAC, AOC 및 파이버 인프라는 NIC, 스위치, 거리 및 네트워크 프로토콜에 따라 선택해야 합니다.

ConnectX-7 및 ConnectX-8 호환성 고려 사항

속도만이 유일한 고려 사항은 아닙니다. 트랜시버나 케이블을 선택할 때는 NIC 모델, 포트 유형, 지원 프로토콜, 광 파장, 데이터 전송률, 전송 거리, 커넥터 유형, 그리고 스위치 측 인터페이스를 확인해야 합니다. 예를 들어, ConnectX-8 C8180용으로 의도된 800G OSFP 솔루션이 모든 ConnectX-8 또는 ConnectX-7 어댑터와 작동한다고 자동으로 가정해서는 안 됩니다. NVIDIA는 어댑터 모델별로 서로 다른 인터페이스와 구성을 나열합니다.

ConnectX-7 vs. ConnectX-8: 어느 것을 선택해야 할까요?  

400G AI 및 HPC 네트워크에는 ConnectX-7을 선택하세요

ConnectX-7은 네트워크 아키텍처가 400G를 중심으로 하는 경우 강력한 선택지입니다. 기존 NDR 네트워크, 400GbE 환경, 그리고 400Gb/s 연결로 워크로드를 효과적으로 처리할 수 있는 AI 또는 HPC 클러스터에 적합합니다.

네트워크 업그레이드에 스위치, 트랜시버, 케이블 및 서버 플랫폼 교체가 필요할 경우, 이는 더 실용적인 옵션이 될 수도 있습니다.

800G AI 클러스터에는 ConnectX-8을 선택하세요

ConnectX-8은 800Gb/s XDR 연결을 활용할 수 있는 새로운 고대역폭 AI 인프라에 더 적합합니다. 특히 GPU와 서버 간 네트워크 트래픽이 크게 증가할 것으로 예상되는 대규모 AI 학습 환경과 관련성이 높습니다. 그러나 결정은 NIC 대역폭만이 아니라 전체 네트워크 아키텍처를 기반으로 해야 합니다. 서버, 스위치, PCIe 인터페이스, 트랜시버 및 케이블링 모두 계획된 구성을 지원해야 합니다.

결론

ConnectX-7 및 ConnectX-8은 AI 및 HPC 클러스터를 위한 고속 네트워킹의 서로 다른 단계를 나타냅니다. ConnectX-7은 400Gb/s 연결까지 확장되며 많은 기존 400G 배포 환경에 적합합니다. ConnectX-8은 플랫폼을 800Gb/s XDR InfiniBand로 확장하며, 차세대 AI 인프라를 위한 PCIe Gen6 지원 및 유연한 포트 구성을 제공합니다.

기존 400G 네트워크의 경우, ConnectX-7은 여전히 성능과 인프라 요구 사항 간의 적절한 균형을 제공할 수 있습니다. 800G 네트워킹을 중심으로 설계된 새로운 대규모 AI 클러스터의 경우, ConnectX-8은 더 높은 네트워크 용량으로 나아가는 경로를 제공합니다. 어느 경우든 NIC는 적절한 스위치, 트랜시버, 케이블 및 서버 인터페이스와 함께 선택해야 합니다.