200G 인터커넥트 선택: InfiniBand HDR과 Ethernet 비교

최신 데이터 센터와 AI 학습 클러스터의 아키텍처 설계를 검토할 때 네트워크 엔지니어는 InfiniBand HDR과 200GbE Ethernet 중에서 선택해야 하는 중요한 결정에 자주 직면합니다. 동일한 200G 데이터 전송 속도를 제공한다고 해서 두 기술이 같은 방식으로 작동하는 것은 아닙니다. InfiniBand HDR과 200GbE Ethernet은 모두 4개의 50G PAM4 레인을 사용하여 200G QSFP56 연결을 지원합니다. 플랫폼과 케이블 사양에 따라 이러한 시스템은 단거리 및 중거리 연결에 패시브 DAC 케이블이나 액티브 광케이블을 사용할 수 있습니다. 그러나 물리적 커넥터 호환성이 프로토콜 호환성을 자동으로 보장하지는 않습니다.

전송 아키텍처와 흐름 제어

200G 링크가 사용하는 프로토콜에 따라 다르게 동작하는 이유를 이해하려면 각 프로토콜의 전송 및 흐름 제어 메커니즘을 살펴봐야 합니다. 어떤 프로토콜을 선택하든 고밀도 200G 링크를 성공적으로 가동하려면 신뢰성 높은 물리적 매체가 필요하며, 그 예로는 다음의 구축이 있습니다 200G DAC 케이블 용 단거리 랙 상단 연결.

RoCEv2를 사용하는 Ethernet: Ethernet은 기본적으로 범용 패킷 스위칭 기술입니다. RoCEv2는 UDP/IP 캡슐화를 사용하여 Ethernet을 통해 RDMA 전송 트래픽을 전달합니다. 이를 통해 RDMA 애플리케이션은 RDMA 전송 모델의 상당 부분을 유지하면서 라우팅된 IP 네트워크에서 작동할 수 있습니다. 그러나 IP 라우팅, 혼잡 관리, 패킷 전달 동작 등 네트워크 계층에서 추가로 고려해야 할 사항도 발생합니다. 기존 Ethernet은 InfiniBand에서 사용하는 것과 동일한 링크 수준의 크레딧 기반 흐름 제어를 제공하지 않습니다. 지연 시간에 민감한 RoCEv2 배포 환경에서 네트워크 운영자는 일반적으로 우선순위 기반 흐름 제어 및 명시적 혼잡 알림과 같은 메커니즘을 DCQCN 같은 혼잡 제어 알고리즘과 함께 사용합니다. 이러한 기능은 혼잡 상황에서 패킷 손실을 줄이는 데 도움이 될 수 있지만, 그 효과는 적절한 구성, 버퍼 관리, 트래픽 엔지니어링에 크게 좌우됩니다.

InfiniBand HDR: InfiniBand는 낮은 지연 시간과 높은 처리량이 필요한 클러스터 컴퓨팅을 위해 네이티브 스위치드 패브릭으로 설계되었습니다. 크레딧 기반 흐름 제어를 사용하여 링크 수준에서 트래픽을 조절합니다. 즉, 송신자는 데이터를 전송하기 전에 수신자의 사용 가능한 버퍼 공간을 나타내는 크레딧을 충분히 확보해야 합니다. 한편 중앙 집중식 Subnet Manager는 패브릭 검색, 구성, 경로 관리를 처리합니다. 이 아키텍처는 혼잡으로 인한 수신 버퍼 오버런을 방지하고 Ethernet 방식의 PFC 구성에 대한 의존도를 줄이는 데 도움이 됩니다. 그러나 전체 패브릭에서 모든 형태의 패킷 오류, 혼잡 또는 재전송이 제거된다고 보장하지는 않습니다.

RDMA와 AI 클러스터 성능

최신 AI 학습, 특히 대규모 언어 모델 학습은 All-Reduce, All-Gather, Reduce-Scatter와 같은 집합 통신 연산에 크게 의존합니다. 이러한 연산을 통해 여러 서버에 분산된 GPU는 학습 중 데이터를 교환하고 모델 매개변수나 기울기를 동기화할 수 있습니다. 집합 연산 중 개별 노드에서 발생하는 통신 지연은 학습 반복의 완료 시간을 늘릴 수 있습니다. 동기화가 병목이 되면 빠른 노드는 느린 참여 노드를 기다려야 할 수 있으며, 이로 인해 전체 GPU 활용률이 낮아집니다.

RDMA 는 두 아키텍처 모두에서 핵심적인 역할을 합니다. InfiniBand와 RoCEv2는 모두 RDMA를 지원하므로 NIC는 호스트 CPU의 개입을 최소화하면서 원격 시스템의 등록된 메모리 영역 간에 데이터를 직접 전송할 수 있습니다. RDMA는 데이터 경로에서 데이터 복사와 커널 처리를 줄여 고성능 워크로드의 CPU 오버헤드를 낮추고 통신 효율을 높이는 데 도움이 됩니다.

네이티브 InfiniBand는 고성능 컴퓨팅을 위해 특별히 설계된 전송 및 패브릭 아키텍처를 제공합니다. RoCEv2도 Ethernet을 통해 높은 RDMA 성능을 제공할 수 있지만, 대규모 환경에서 일관된 결과를 얻으려면 혼잡 제어, 큐 관리, 네트워크 구성에 세심한 주의를 기울여야 합니다.

200G InfiniBand HDR과 200GbE RoCEv2 비교

적합한 200G 인터커넥트 선택

이 두 기술 중 하나를 선택하려면 애플리케이션 워크로드, 기존 인프라, 팀의 운영 전문성과 기술 성숙도를 종합적으로 평가해야 합니다.

대규모 AI 및 HPC 클러스터의 경우:

주요 워크로드가 대규모 GPU 클러스터에서 대형 신경망을 훈련하는 작업이고 노드 간 동기화 지연 시간이 훈련 시간에 직접적인 영향을 미친다면, InfiniBand는 이러한 시나리오에 특화된 네트워크 아키텍처를 제공합니다. 크레딧 기반 흐름 제어 메커니즘은 링크 계층에서 데이터 전송을 조절하며, 중앙 집중식 서브넷 관리자는 네트워크 구성과 데이터 경로의 통합 관리를 지원합니다. 대규모 스케일아웃 환경에서 InfiniBand의 중앙 집중식 서브넷 관리와 링크 수준 크레딧 기반 흐름 제어는 네트워크 관리를 간소화하여 Ethernet에서 일반적으로 필요한 복잡한 PFC 구성과 혼잡 튜닝의 필요성을 줄여 줍니다. 다만 배포 전에 팀이 서브넷 관리자 관리에 얼마나 익숙한지 평가하고, 기존 스위치 인프라를 점검하며, 클러스터의 향후 확장 요구 사항을 고려해야 합니다.

통합 데이터 센터 환경의 경우:

인프라가 범용 가상화, 컨테이너화된 마이크로서비스, 고성능 블록 스토리지 등 다양한 워크로드를 지원해야 한다면, RoCEv2를 사용하는 200GbE Ethernet 솔루션이 더 높은 유연성을 제공합니다. 이 솔루션은 BGP 및 EVPN-VXLAN과 같은 기존 엔터프라이즈 라우팅 및 네트워크 가상화 기술과 원활하게 통합됩니다. 다만 RoCEv2를 배포하려면 QoS와 혼잡 관리에 대한 세심한 계획이 필요합니다. 데이터 센터 스위치가 ECN 마킹과 PFC를 지원하는지 확인하고, 네트워크 인터페이스 카드와 전체 네트워크 인프라가 모두 DCQCN과 같은 혼잡 제어 메커니즘에 맞게 올바르게 구성되어 있는지 검증해야 합니다. 또한 운영팀은 트래픽 우선순위 지정, 버퍼 임계값, 네트워크 혼잡 동작에 중점을 두고 명확한 구성 및 검증 기준을 수립해야 합니다.

DAC 및 AOC 케이블링 고려 사항

200G 데이터 센터 네트워크에서 DAC와 AOC 중 무엇을 선택할지는 주로 링크 거리, 케이블 배선 요구 사항, 플랫폼 호환성에 따라 결정됩니다. 물리 계층 연결은 200G 링크 전반에서 신호 무결성을 유지하는 데 중요한 역할을 합니다.

패시브 QSFP56 DAC 케이블: 패시브 DAC 케이블은 광 트랜시버와 광섬유 링크 대신 직접적인 전기 연결을 사용하므로, 단거리 200G 인터커넥트에 간단하고 비용 효율적인 선택지를 제공합니다. 하지만 200G 링크를 설계할 때는 케이블 길이, 삽입 손실, 신호 무결성, 플랫폼별 FEC 요구 사항을 여전히 고려해야 합니다. 지원되는 구성에서는 호환되는 브레이크아웃 케이블을 사용하여 200G QSFP56 포트를 두 개의 100G 링크로 분할할 수 있습니다. 이를 위해서는 소스 포트, 다운스트림 인터페이스, 네트워크 장치가 동일한 브레이크아웃 모드와 레인 매핑을 지원해야 합니다.

액티브 광케이블(AOC): 패시브 구리 케이블의 길이나 배선 제약이 한계로 작용하는 장거리 연결에서는 액티브 광케이블이 실용적인 대안이 될 수 있습니다. InfiniBand HDR 배포의 경우, AOC 는 200G-to-dual-100G 옵션을 포함하여 다양한 길이와 브레이크아웃 구성으로도 제공됩니다(이러한 브레이크아웃 옵션은 특정 프로토콜 및 장치의 지원 여부에 따라 달라집니다). 이러한 어셈블리는 구리 케이블링이 적합하지 않거나 더 긴 케이블 구간이 필요한 경우 연결을 간소화할 수 있습니다. 엔지니어는 지원되는 프로토콜, 도달 거리, 종단 장치 호환성을 여전히 확인해야 합니다.

결론

네트워크 아키텍처를 워크로드 요구 사항에 맞추는 것은 설계 과정의 일부에 불과합니다. 엔지니어는 케이블 호환성, 브레이크아웃 구성, 링크 도달 거리, 종단 장치 지원 여부도 확인해야 합니다. 네트워크 프로토콜과 물리적 인터커넥트를 모두 평가함으로써 데이터 센터 팀은 AI, HPC, 엔터프라이즈 워크로드 전반에서 안정적으로 확장할 수 있는 200G 인프라를 구축할 수 있습니다.