AI 컴퓨팅 아키텍처 진화: Scale-Up 대 Scale-Out 및 광 모듈의 선택

대규모 모델이 수조 개의 매개변수에 도달하고 AI 클러스터의 규모가 수십만 개의 GPU에 가까워짐에 따라, 기반 컴퓨팅 인프라는 중대한 아키텍처 전환을 겪고 있습니다. AI 컴퓨팅을 위한 두 가지 주류 네트워크 모델인 Scale-Up과 Scale-Out은 서로 다른 기술 경로를 따라 발전하고 있지만, 실제로는 핵심 지점에서 점차 수렴하고 있습니다. 

이러한 변화는 본질적으로 "낮은 지연 시간과 높은 확장성" 및 "높은 안정성과 비용 관리" 사이에서 반복된 절충의 결과입니다. 동시에 광 모듈 기술(예: LPO, NPO, CPO)의 지속적인 발전이 시스템 설계를 점점 더 형성하고 있습니다.

스케일업 vs. 스케일아웃: 두 경로 간의 차별화와 트레이드오프

AI 컴퓨팅 클러스터 설계에서 Scale-Up과 Scale-Out은 처음부터 서로 다른 목표를 가지며, 평가 기준도 동일한 차원에 맞춰져 있지 않습니다. 이는 두 가지 서로 다른 접근 방식으로 이해할 수 있습니다.

스케일업: 낮은 지연 시간과 강력한 일관성을 강조하는 긴밀하게 결합된 아키텍처

스케일업은 단일 노드의 컴퓨팅 성능을 확장하는 것에 더 가깝습니다. 본질적으로 기존 GPU 아키텍처 내에서의 "수평 통합"에 관한 것입니다. 고도로 결합된 컴퓨팅 유닛을 구축함으로써 여러 GPU의 로컬 메모리가 통합된 논리 공간으로 추상화되어, 컴퓨팅 코어가 원격 메모리에 접근할 때 거의 로컬 HBM에 가까운 경험을 할 수 있게 합니다. 이러한 니어 메모리 시맨틱스 접근 방식은 규모를 확장하는 것뿐만 아니라 연산과 데이터 사이의 거리를 최소화하여, 높은 일관성과 안정성을 유지하면서 지연 시간을 마이크로초 미만으로 줄이는 것을 목표로 합니다.

Scale-Out: 확장성을 지향하는 분산 컴퓨팅 모델

반면, Scale-Out은 네트워크를 통해 많은 수의 노드를 하나의 응집된 전체로 구성하여 분산된 컴퓨팅 파워를 하나로 조립하는 것에 더 가깝습니다. 일반적인 구현은 2계층 또는 3계층 Clos 아키텍처를 기반으로 하며, 수만 개 또는 그보다 더 많은 GPU를 동일한 트레이닝 클러스터에 연결하여 데이터 병렬 처리, 파이프라인 병렬 처리 및 기타 트레이닝 모드를 지원합니다. 이 접근 방식은 확장성과 비용 관리에 중점을 두며, 현재의 하드웨어 및 소프트웨어와 함께 작동하면서 시스템이 항상 사용 가능하고 필요에 맞게 확장될 수 있도록 보장합니다.

일반적으로 Scale-Up은 최고의 성능과 낮은 지연 시간을 달성하기 위해 "개별 역량"을 향상시키는 것입니다. 반면 Scale-Out은 대규모 클러스터가 원활하게 실행되도록 하는 "규모 효율성"에 관한 것입니다. 전자는 고성능 컴퓨팅의 핵심 단위에 중점을 두는 반면, 후자는 대규모 학습 및 추론을 위한 기반 네트워크를 형성합니다. 이 두 가지 모드는 실제 AI 인프라에서 종종 공존하며 서로를 보완합니다.

현재 진화: Scale-Up 아키텍처 변화와 Scale-Out 단순화 추세

최근 몇 년 동안 Scale-Up과 Scale-Out은 빠르게 발전해 왔으며, 선도적인 제조업체들은 이를 실제로 구현하는 방법을 찾아냈습니다. 목표는 복잡성을 단순화하면서 성능을 향상시키는 것입니다.

스케일업: 섀시 기반에서 다중 폼 공존으로, 224G 인터커넥트가 핵심 노드가 되다

성장하는 기업을 위한 초기 솔루션은 대부분 "chassis SuperNodes"에 초점을 맞추었으며, 이는 컴퓨팅 리소스를 단일 시스템으로 모아 고속 링크를 통해 연결했습니다. 이러한 솔루션은 안정성과 일관성을 강조했으며, 일반적으로 "cable backplane + L1/L2 switching"의 조합을 사용했습니다. 내부 섀시 상호 연결은 높은 대역폭 밀도를 보장하기 위해 주로 전기적 연결에 의존했으며, 섀시 간 확장은 광 상호 연결에 의존했습니다.

224G 광 인터커넥트는 스케일업 시나리오에서 점차 주류 선택지가 되고 있습니다. 비용 모델 관점에서 볼 때, 1.6T 광 모듈 향후 3~5년 동안 800G의 약 1.2~1.4배 수준을 유지할 가능성이 높습니다. 이러한 차이는 LPO 기반이든 기존 DSP 아키텍처 기반이든 처리하기가 꽤 쉽습니다. 하지만 112G 기술을 사용하면 동일한 대역폭에 더 많은 광섬유를 사용해야 하는 경우가 많아 결국 비용이 더 많이 듭니다. 대역폭, 전력 소비, 케이블링 복잡성과 같은 요소를 고려하면 224G 솔루션이 장기적으로 더 낫습니다.

QSFPTEK 1.6T 광 모듈

업계는 이러한 추세를 따라왔으며, 1.6T 속도를 지원하는 QSFPTEK의 OSFP 시리즈 모듈(예: 2×DR4 및 2×FR4 사양)과 같은 관련 제품을 개발하기 시작했습니다. 이는 주로 미래 슈퍼노드 아키텍처의 고대역폭, 저지연 요구 사항을 충족하는 것을 목표로 합니다. 이러한 제품은 또한 데이터 센터가 다음 성장 단계에 대비하도록 합니다.

Scale-Out: 3계층에서 2계층으로, 네트워크 구조가 점차 평탄화됩니다

스케일아웃 아키텍처의 중요한 변화는 전체 설계에서 단순화가 점점 더 강조되고 있다는 점입니다. 이전에 일반적이던 3계층 Clos 네트워크는 점차 2계층 Clos 아키텍처로 대체되고 있습니다. 중간 계층 수를 줄임으로써 네트워크 경로가 더 직접적이 되고 시스템 복잡성이 줄어듭니다. 이러한 설계에서는 수십만 개의 GPU를 대상으로 하는 트레이닝 클러스터도 네트워크 비용을 통제하면서 높은 확장성을 유지할 수 있습니다.

이러한 변화는 주로 스위칭 칩 기능의 향상에 기인합니다. 예를 들어 Radix가 512포트에 도달하는 등 포트 크기가 계속 커짐에 따라, 2계층 Clos 네트워크는 추가 코어 스위칭 계층 없이도 100,000개 이상의 노드 규모를 직접 지원할 수 있으며, 일부 설계 모델에서는 약 130,000개의 가속기 카드까지도 수용할 수 있습니다. 이는 대규모 AI 클러스터가 확장 중에도 더 명확한 네트워크 토폴로지를 유지하면서 대역폭 밀도를 유지할 수 있음을 의미합니다.

멀티 플레인 네트워크: 멀티 플레인 설계를 통한 대역폭 부담 완화

이러한 기반을 바탕으로 일부 제조업체는 새로운 네트워크 구성 방법을 탐색하기 시작했습니다. 예를 들어, 관련 연구에서 제안된 Multi-Plane 아키텍처가 대표적인 접근 방식입니다. 이 방식에서는 AI-NIC가 여러 고속 포트를 통해 서로 다른 Clos 네트워크 플레인에 동시에 액세스합니다. 예를 들어 네 개의 200G 인터페이스를 사용하여 네 개의 독립적인 네트워크 플레인에 연결하고, 송신 측에서는 라운드 로빈 방식으로 동일한 데이터 스트림을 플레인 전반에 분산합니다.

수신 측에서는 순서가 다른 쓰기를 지원하는 데이터 처리 메커니즘이 서로 다른 경로의 데이터를 재조립하므로 단일 링크가 병목 현상이 되지 않습니다. 이 접근 방식은 Scale-Out 시나리오에서 단일 GPU의 대역폭 활용도를 향상시켜, 일부 테스트 모델에서 전체 활용률 95% 이상을 달성합니다.

트렌드 관점에서 볼 때, Scale-Out의 초점은 단순히 규모를 늘리는 데 그치지 않고, 구조적 최적화와 네트워크 설계 혁신을 통해 초대규모 AI 클러스터에서 대역폭, 효율성, 비용 간의 보다 합리적인 균형을 달성하는 데 있습니다.

광 모듈 선택 동향: LPO/NPO의 인기 상승, CPO는 점진적 하락

Scale-Up 및 Scale-Out 아키텍처 모두에서 광 모듈은 연결 매체일 뿐만 아니라 지연 시간, 전력 소비 및 링크 안정성에도 직접적인 영향을 미칩니다. 따라서 다양한 기술 접근 방식은 광 모듈 폼 팩터 선택에서 점점 더 차이를 보이고 있습니다. LPO, NPO 및 기존 DSP 지원 솔루션 간의 차이는 더욱 명확해지고 있으며, CPO의 인기는 상대적으로 감소했습니다.

Scale-Up: 더 낮은 지연 시간 솔루션은 LPO/NPO를 선호합니다

시스템이 확장되는 시나리오에서는 지연 시간과 전력 소비를 줄이는 것이 목표입니다. 이로 인해 DSP가 없는 LPO 또는 NPO 솔루션이 더 많이 사용됩니다. 이러한 광 모듈은 신호 처리 경로를 더 단순하게 만들어 사용 전력량을 크게 줄입니다. 예를 들어, 800G 모듈 LPO 솔루션을 사용하면 약 6W를 소비하며, 일반적으로 약 15W를 소비하는 기존 DSP 장착 제품에 비해 크게 개선된 것입니다.

QSFPTEK 800G 광 모듈

동시에 데이터 처리에서 DSP 관여가 줄어들면 링크 지연 시간도 감소합니다. 단방향 지연 시간은 수십 나노초 단축될 수 있으며, 왕복 지연 시간에서는 감소가 더욱 두드러집니다. 이러한 특성으로 인해 이들은 "단거리, 높은 일관성"의 스케일업 요구 사항에 더 적합하며, AI 데이터 센터에 최적화된 일부 LPO 제품은 이러한 지표를 중심으로 설계되었습니다.

스케일아웃: DSP 아키텍처는 여전히 주류 선택입니다

하지만 시스템이 확장되는 환경에서는 상황이 완전히 달라집니다. 디지털 신호 프로세서(DSP)가 탑재된 광 모듈은 대규모 네트워크 연결과 긴 전송 거리를 처리하는 데 더 뛰어납니다. 이러한 이유로 여전히 선호되는 선택지입니다.

한편, 오류 제어 측면에서 DSP는 더 복잡한 순방향 오류 정정 메커니즘을 지원할 수 있어, 링크가 정정 후 더 낮은 오류율을 달성할 수 있게 하므로 장거리 전송 시나리오에 적합합니다. 반면 LPO/NPO 모듈은 이와 관련된 기능이 상대적으로 제한적이어서, 데이터 센터 간 또는 10 km급 링크의 안정성 요구 사항을 충족하지 못하는 경우가 많습니다.

반면, 대규모 클러스터는 일반적으로 여러 공급업체의 장비가 혼합 배치되어 상호 운용성에 대한 요구가 더 높습니다. 표준 프로토콜(예: IEEE 802.3)을 기반으로 하는 DSP 광 모듈은 공급업체 간 호환성이 더 성숙한 반면, LPO/NPO 표준은 여전히 발전 중이며 생태계는 아직 완전히 통합되지 않았습니다.

전반적으로 두 가지 기술 경로가 명확해졌습니다. Scale-Up은 일반적으로 LPO/NPO를 사용하여 더 낮은 지연 시간과 전력 소비를 달성합니다. Scale-Out은 장거리 전송과 시스템 호환성을 보장하기 위해 계속해서 DSP 아키텍처에 의존합니다. 구현 방식은 서로 다르지만, 두 방식 모두 대역폭 진화에서 동일한 목표—224G 단일 채널 속도로 나아가는 것—를 공유합니다.

통합 및 구현의 실제 과제: 기회와 한계의 공존

스케일업의 높은 신뢰성과 스케일아웃의 대규모 확장성이 교차하기 시작하면, "융합 네트워크"의 방향은 자연스러워 보입니다. 그러나 실험과 대규모 배포 사이에는 여전히 피할 수 없는 몇 가지 장애물이 있습니다.

아키텍처 차이: 메모리 의미론과 메시지 의미론 통합의 어려움

두 시스템은 서로 다른 수준에서 작동합니다. Scale-Up은 GPU가 원격 리소스에 액세스하는 방식인 "memory semantics"와 같습니다. 이를 통해 모든 장치가 서로 빠르게 통신할 수 있습니다. 반면 Scale-Out은 데이터 송수신을 위해 RDMA와 같은 메커니즘을 사용하는 "message semantics"를 기반으로 구축됩니다. 기본적으로 명시적 통신 모델입니다. 시스템을 설계하고 구축하는 방식의 주요 차이로 인해 이들을 통합하는 것은 단순히 서로 통신할 수 있게 하는 것보다 더 복잡합니다.

일관되지 않은 안정성 경로: 안정적인 링크를 도입하는 방법

설계의 신뢰성을 보장하기 위해 Scale-Up은 일반적으로 "케이블 백플레인 + 스위칭 구조"를 사용하여 링크 장애 위험을 줄이고 중요 경로를 높은 안정성 범위 내에 유지합니다. 반면 Scale-Out 시스템은 일반적으로 상호 연결에 광 모듈을 사용합니다. 컨버전스를 달성하려면 일부 Scale-Out 트래픽을 Scale-Up의 고신뢰 링크로 우회시켜야 하므로 기존 네트워크 토폴로지의 재구성이 필요합니다. 수만 개 또는 수십만 개의 카드가 있는 클러스터의 경우 이러한 조정은 본질적으로 복잡한 엔지니어링 프로젝트입니다.

벤더 간 협업: 표준과 생태계는 여전히 파편화되어 있음

통합 네트워크는 단순한 아키텍처 문제가 아니라 업계 협력도 수반합니다. 스위칭 칩, GPU 및 광 모듈 간에는 더 긴밀한 표준 정렬이 필요합니다. 예를 들어, LPO 관련 솔루션은 여전히 여러 공급업체 간 상호 운용성을 위한 통합 사양의 개선에 의존합니다. 동시에, 메모리 기반 스위칭 구조는 다양한 GPU 공급업체의 인터페이스 구현에 적응해야 합니다. 현재 주요 공급업체들은 주로 자체 생태계에 집중하고 있으며, 프로토콜과 구현 경로가 완전히 통합되어 있지 않아 어느 정도 통합 속도를 늦추고 있습니다.

이러한 문제를 둘러싸고 몇 가지 핵심 질문이 제기되고 있습니다. LPO가 상호 운용성에서 돌파구를 마련하고 보다 보편적인 광 상호 연결 솔루션이 될 기회를 가질 수 있을까요? 메모리 시맨틱스와 메시지 시맨틱스를 소프트웨어 수준에서 통합하여 시스템이 낮은 지연 시간과 높은 확장성을 동시에 달성할 수 있을까요?

확실한 것은 컴퓨팅 인프라 경쟁이 더 심화된 단계에 접어들었다는 점입니다. 광 모듈 기술, 네트워크 구조, 산업 협력 방식에 대한 모든 조정은 결과에 영향을 미칠 것입니다. 단순히 두 경로 중 하나를 선택하기보다는, 서로 다른 시스템이 동일한 인프라 내에서 협업하여 운영될 수 있도록 하는 것이 더 현실적인 방향일 수 있습니다. 이러한 추세에 맞춰, "Scale-Across"와 유사한 아이디어도 두 모드를 연결하는 과도기적 형태로 제안되었습니다.