AI 데이터 센터 네트워킹은 어떻게 작동하나요?

AI 데이터 센터 네트워킹이란 무엇인가요?

AI 데이터 센터 네트워크는 인공지능(AI) 기능을 충족하는 데이터 센터의 네트워크 인프라를 의미합니다. 이러한 기능을 충족하는 네트워크는 기존 네트워크보다 더 높은 네트워크 확장성, 고성능, 낮은 지연 시간이 필요합니다. AI 및 머신 러닝(ML) 워크로드는 일반 네트워크 작업보다 더 까다로우며, 특히 집중적인 AI 학습 단계에서 더욱 그렇습니다.

서버와 스토리지 시스템 간의 빠르고 원활한 통신을 제공하는 InfiniBand는 이 네트워킹 기술을 고성능 컴퓨팅(HPC) 및 AI 훈련 네트워크에서 널리 사용되는 독점 기술로 만들었습니다. 이후 Ethernet은 개방형 대체 기술 솔루션으로서 AI 데이터 센터 네트워킹 시장에서 상당한 주목을 받았으며, 향후 발전에서 지배적인 기술이 될 수 있습니다.

AI 데이터 센터 네트워크에서 Ethernet에 대한 관심이 증가하는 데에는 여러 가지 이유가 있으며, 운영 효율성과 비용 관리가 가장 먼저 그리고 가장 분명한 이유입니다. 기술 관리 측면에서 Ethernet은 이제 네트워크를 구축하고 관리할 수 있는 네트워크 엔지니어 풀이 큰 반면, 독점 InfiniBand 네트워크에 대한 전문 지식은 더 제한적입니다. 둘째, 비용 관리도 큰 이유입니다. 오늘날의 AI 데이터 센터 장비의 경우 400Gb 이더넷, 전체 가격은 InfiniBand 솔루션보다 상당히 저렴하며, InfiniBand 장비 및 관리 도구는 주로 Nvidia를 통해 공급되는 반면, Ethernet은 네트워크 관리 도구에 폭넓게 접근할 수 있습니다.

AI 데이터 센터 네트워킹은 어떻게 작동하나요?

AI 데이터 센터의 막대한 컴퓨팅 수요를 충족하기 위해 GPU 서버가 대규모로 배포되고 있으며, 그에 따라 전체 비용이 증가하고 있다는 점에 더해, AI 데이터 센터의 네트워킹 구성 요소 또한 GPU 활용도를 개선해야 합니다. 이는 더 효율적인 네트워킹이 필요하다는 의미입니다. Ethernet 네트워킹은 검증된 개방형 기술이며, AI 워크로드 네트워킹 요구 사항에 맞게 특별히 설계할 수 있는 AI 데이터 센터 네트워크에 적합한 솔루션입니다. 그 네트워크 아키텍처는 혼잡 관리, 부하 분산, 낮은 지연 시간으로 향상되어 작업 완료 시간(JCT)을 최적화합니다. 간소화된 관리와 자동화도 네트워크 안정성과 일관된 성능에 기여합니다.

패브릭 설계

AI 데이터 센터 네트워크는 다양한 아키텍처 설계를 사용할 수 있지만, any-to-any 논블로킹 Clos 아키텍처를 선택하는 것이 권장됩니다. 이 설계는 NIC에서 리프 및 백본까지 일관된 400 Gbps 네트워크 속도(800 Gbps로 증가할 가능성 있음)를 활용하여 학습 프레임워크를 최적화합니다. GPU의 규모와 모델의 크기에 따라 2계층, 3계층 논블로킹 구조 또는 3계층, 5계층 논블로킹 구조를 구현할 수 있습니다.

흐름 제어 및 혼잡 방지

Fabric 용량 외에도, 전체 Fabric의 신뢰성과 효율성을 향상시키기 위해 다른 설계 고려 사항도 중요합니다. 이러한 고려 사항에는 최적의 링크 수를 갖춘 적절한 크기의 Fabric 상호 연결과, 혼잡 및 패킷 손실을 방지하기 위해 트래픽 불균형을 확인하고 수정할 수 있는 기능이 포함됩니다. Explicit Congestion Notification (ECN), Data Center Quantified Congestion Notification (DCQCN), Priority-Based Flow Control은 트래픽 불균형을 해결하여 무손실 데이터 전송을 보장합니다.

데이터 혼잡을 줄이기 위해 스위치에 동적 및 적응형 부하 분산이 배포됩니다. 동적 부하 분산 및 스위치에서 로컬로 수행되는 트래픽 재분배는 트래픽을 고르게 분산시킵니다. 적응형 부하 분산은 트래픽 포워딩 및 다음 전송 테이블을 모니터링하여 불균형을 식별하고 혼잡한 경로를 피해 트래픽을 유도합니다.

ECN은 데이터 혼잡이 불가피할 때 애플리케이션에 사전에 알립니다. 이 기간 동안 리프와 스파인은 ECN 지원 패킷으로 업데이트되어 송신자에게 혼잡을 알리고, 송신자가 전송 속도를 늦춰 패킷 손실을 방지할 수 있도록 합니다. 송신자가 즉시 응답하지 않으면 Priority-based Flow Control (PFC)을 통해 이더넷 수신기와 송신기가 버퍼 가용성에 대한 피드백을 공유할 수 있습니다. 마지막으로, 혼잡 중에는 리프 및 스파인 스위치가 특정 링크의 트래픽을 일시 중지하거나 제한하여 혼잡을 완화하고 패킷 손실을 방지함으로써 특정 트래픽 클래스의 무손실 전송을 가능하게 합니다.

규모와 성능

Ethernet 솔루션은 HPC 및 AI 애플리케이션을 처리하기 위한 선호되는 개방형 표준이 되었습니다. 미래를 내다보면 (800GbE 및 Data Center Bridging (DCB)), Ethernet의 더 빠르고 안정적이며 확장 가능한 특성은 미션 크리티컬 AI 애플리케이션의 높은 데이터 처리량과 낮은 지연 시간 요구 사항을 처리할 수 있게 합니다.

자동화

자동화는 AI 데이터 센터 네트워크 솔루션이 최종 루프를 효과적으로 완료하도록 도울 수 있습니다. 모든 자동화가 동일하게 만들어지는 것은 아니며, 네트워크 용량의 총 가치를 실현하려면 자동화 소프트웨어가 경험 우선 운영을 제공해야 합니다. AI 데이터 센터의 설계, 배포 및 관리에서 영어일 수 있습니다. 반복 가능하고 지속적으로 검증되는 AI 데이터 센터 설계 및 배포를 가능하게 하며, 인적 오류를 제거하는 것 외에도 텔레메트리 및 트래픽 데이터를 활용하여 성능을 최적화하고, 사전 예방적 장애 문제 해결을 용이하게 하며 네트워크 중단을 방지할 수 있습니다.

AI 기반 수요를 충족하기 위해 AI 데이터 센터 네트워크가 필요한 이유는 무엇인가요?

AI 데이터 센터 네트워크는 생성형 AI 및 대규모 딥러닝 AI 모델이 요구하는 요건을 충족합니다. AI 모델 개발에는 세 단계가 포함됩니다:

1단계: 데이터 준비 - AI 모델 학습을 위한 데이터셋 수집 및 구성.

2단계: AI 학습 - AI 모델을 대량의 데이터에 노출해 패턴과 관계를 학습하게 함으로써 지능을 개발하도록 학습시킵니다.

3단계: AI 추론 - 학습된 모델을 실제 시나리오에 적용하여 새롭고 알려지지 않은 데이터를 기반으로 예측하거나 결정을 내립니다.

3단계는 일반적으로 기존 데이터 센터와 클라우드 네트워크를 활용하지만, 2단계(AI 학습)는 반복적인 학습 과정을 지원하기 위해 상당한 데이터 및 컴퓨팅 리소스를 필요로 합니다. 그래픽 처리 장치(GPU)는 AI 학습 및 추론에 흔히 사용되며, 효율성을 높이기 위해 클러스터 구성으로 사용되는 경우가 많습니다. 그러나 클러스터를 확장하면 비용이 증가할 수 있어, 클러스터 효율성을 저해하지 않는 AI 데이터 센터 네트워크의 중요성이 부각됩니다.

대규모 모델을 훈련하려면 많은 수의 GPU 서버, 때로는 수만 대를 연결해야 하며, 2023년에는 서버당 비용이 $400,000를 초과합니다. 따라서 작업 완료 시간을 최적화하고 비정상적인 AI 워크로드가 전체 작업 완료를 지연시키는 테일 레이턴시를 최소화하는 것은 GPU 투자 수익을 극대화하는 데 매우 중요합니다. 이러한 맥락에서 AI 데이터 센터 네트워크는 안정적이어야 하며 클러스터 효율성 손실을 방지해야 합니다.

AI 데이터 센터 네트워킹에 대한 FAQ 

AI 데이터 센터 네트워크는 어떤 문제를 해결합니까?

인공 지능은 생성형 AI와 딥러닝에 필요한 대량의 데이터와 리소스 연산에 대한 수요가 매우 높으며, AI 모델이 지속적으로 수집하는 데이터로부터 매개변수를 학습하고 개선하는 모델 개발의 반복 프로세스를 지원합니다. 그래픽 프로세서는 AI 학습 및 추론 워크로드에 적합하지만, GPU 클러스터를 구축하는 것 외에도 대규모 데이터 센터는 클러스터를 확장함에 따라 AI 모델의 효율성을 개선해야 합니다. 이 과정은 비용도 증가시키므로 클러스터 효율성을 저해하지 않는 AI 데이터 센터 네트워크를 사용하는 것이 중요합니다.

이더넷 vs. InfiniBand: AI 데이터 센터 네트워크에는 어느 것이 더 나은가요?

독점 기술인 InfiniBand는 AI 기술에 어느 정도 발전과 혁신을 가져왔지만, InfiniBand 장비의 사용은 비용이 많이 들고, 경쟁적인 수요와 공급 시장에 맞게 더 저렴하게 만들 수 없으며, 독점 네트워크 기술자와 함께 사용해야 합니다. 반면 Ethernet 기술은 IP 기술 다음으로 전 세계에서 가장 널리 사용되는 네트워크 기술이며, 향상된 데이터 센터 브리징(DCB) 기능을 갖춘 Ethernet 기술의 800GbE 인스턴스가 현재 제공됨에 따라 AI 애플리케이션의 높은 데이터 처리량과 낮은 지연 시간 요구 사항도 충족할 수 있습니다. 주로 NVIDIA를 통해 공급되는 InfiniBand 기술의 경우, InfiniBand 기술보다 Ethernet 네트워킹에 더 다양한 관리 도구를 사용할 수 있습니다. 요약하면, Ethernet 패브릭은 높은 우선순위와 미션 크리티컬 AI 트래픽에 이상적입니다.