AI Factory란 무엇인가? 그리고 800G/1.6T 광학 장치가 그 백본인 이유

데이터 센터에서 AI 팩토리로의 전환

인프라가 구축되는 방식에 조용한 변화가 생겼습니다. 얼마 전까지만 해도 데이터 센터는 주로 스토리지, 가상화, 사용자 요청 처리에 관한 것이었습니다. 이제는 다르게 느껴집니다. 워크로드는 더 무겁고, 더 지속적이며, 많은 경우 직접적인 사용자 행동과도 연결되어 있지 않습니다. AI 시스템은 백그라운드에서 실행되며 생성하고, 추론하고, 반복하고, 때로는 전통적인 의미에서 결코 “끝나지” 않는 작업을 순환하기도 합니다.

“AI 팩토리”라는 개념은 더 이상 단순한 유행어가 아니며, 점점 현실이 되어가고 있습니다. 데이터는 처리를 위해 대형 모델에 입력되고 지속적으로 출력을 생성합니다. 이 시스템은 IT 아키텍처라기보다 산업 시스템에 더 가깝습니다. NVIDIA가 Rubin 플랫폼을 출시했을 때 의도했던 것처럼, 목표는 이러한 아키텍처 혁명을 완성하는 것입니다. 오늘날 우리가 직면한 과제는 하드웨어의 성능을 넘어섭니다. 인프라 수준에서는 추론 비용을 절감하고 배포 예측 가능성을 높이면서 대규모 AI 생산을 지원할 수 있는 시스템을 어떻게 구축할지 고려해야 합니다.

인프라가 공장처럼 작동하기 시작하면 압박은 전체 스택으로 확산됩니다. 컴퓨팅은 그중 한 부분일 뿐입니다. 스토리지, 메모리, 스케줄링, 오케스트레이션, 그리고 특히 네트워킹은 모두 각기 다른 방식으로 중요해지기 시작합니다. 단순히 성능만 필요한 것이 아닙니다—부하 상태에서의 일관성과 모든 것이 취약해지지 않으면서 확장할 수 있는 능력이 필요합니다.

Rubin Platform 내부: 색다른 시스템 설계

Rubin을 더 자세히 살펴보면, 기존의 점진적 업그레이드 패턴을 실제로 따르지는 않습니다. 오히려 리셋에 더 가깝게 느껴집니다. 개별 구성 요소를 개선하는 대신, 이 플랫폼은 여러 계층을 하나로 통합하고 전체적으로 최적화합니다. Vera CPU, Rubin GPU, NVLink 6, ConnectX-9 SuperNIC, BlueField-4 DPU, Spectrum-6 Ethernet은 모두 그 설계의 일부입니다.

이러한 종류의 조율은 시스템의 동작 방식을 바꿉니다. 예를 들어, MoE 학습 워크로드는 이제 이전 세대에 비해 훨씬 적은 GPU를 필요로 하지만, 이것이 전체 활동량을 줄이는 것은 아닙니다. 단지 이를 재분배할 뿐입니다. 추론은 더 빈번해지고, 모델은 더 복잡해지며, 워크로드는 더 긴 시퀀스에 걸쳐 확장됩니다. 결국 시스템은 더 적은 데이터가 아니라 더 많은 데이터를 이동하게 됩니다.

NVL72 랙 스케일 시스템이 좋은 예입니다. 수십 개의 GPU를 긴밀하게 통합된 장치에 집적하는 것은 효율적으로 들리며—실제로도 그렇지만—, 랙 내부에 조밀한 통신 패턴도 만들어냅니다. 데이터는 더 이상 위아래로만 흐르지 않습니다. GPU, 메모리 풀, 가속기 전반에서 끊임없이 횡방향으로 이동합니다. 이러한 내부 압력은 결국 더 넓은 네트워크로 흘러나갑니다.

AI 팩토리가 네트워크에 다른 방식으로 부담을 주는 이유

AI Factory 내부의 네트워크는 기존의 가정이 무너지기 시작할 만큼 충분히 다릅니다. 단순히 대역폭 수요가 더 높다는 것만이 아닙니다. 트래픽 패턴이 바뀝니다. 동서 트래픽이 핵심이며, 일반적으로 변동하기보다는 높은 수준을 유지합니다. GPU는 특히 분산 학습과 다단계 추론 시나리오에서 지속적으로 데이터를 교환합니다. 지연 시간은 이론상이 아니라 실제 성능에서 더 두드러지게 나타납니다.

동시에 기반 기술은 빠르게 발전하고 있습니다. 예를 들어 NVLink 6는 GPU 간 대역폭을 각 장치가 초당 수 테라바이트를 처리할 수 있는 수준까지 끌어올립니다. 단일 랙 내부에서는 총 대역폭이 초당 수백 테라바이트까지 증가합니다. 이는 작은 진전이 아니라—완전히 다른 규모입니다.

이더넷 분야에서 NVIDIA Spectrum-X는 AI 네트워크가 구축되는 방식을 변화시키고 있습니다. 이더넷을 범용 패브릭으로 취급하는 대신, AI 워크로드에 맞게 특별히 조정하고 있습니다. 효율성 향상은 분명하지만, 더 두드러지는 것은 지속적인 부하에서의 안정성입니다. AI 클러스터는 유휴 상태가 많지 않으므로 가동 시간과 일관성이 최고 성능만큼 중요해지기 시작합니다.

또한 BlueField-4도 포함되어 있으며, 이는 일부 데이터 처리 및 보안 기능을 CPU에서 분리해 담당합니다. 항상 그만큼 주목받는 것은 아니지만, 대규모 배포에서는 관리 가능성을 유지하는 데 도움이 됩니다. 그리고 추론 컨텍스트를 세션 간에 재사용할 수 있는 AI 네이티브 스토리지로 전환되면서, 전체 시스템은 여러 서버의 집합이라기보다 조율된 파이프라인에 더 가까워지기 시작합니다.

이 모든 것은 단순한 관찰로 이어집니다. 오늘날 네트워크는 컴퓨터 노드 간의 단순한 연결 장치 그 이상입니다. 네트워크는 계산 프로세스 자체의 일부가 됩니다. 그리고 일단 그렇게 되면, 특히 400G 가정에 기반해 구축된 오래된 설계의 한계가 더욱 분명해집니다.

400G vs 800G vs 1.6T: 실제로 무엇이 달라지며 왜 중요한가

이동 출발지 400G 800G 또는 심지어 1.6T로의 전환은 단순한 속도 업그레이드처럼 보일 수 있습니다. 실제로는 그 차이가 대역폭 수치보다 더 깊습니다.

400G는 여전히 그 자리가 있습니다. 널리 구축되어 있고, 비교적 성숙했으며, 예측 가능한 트래픽 패턴이 있는 환경이나 트래픽이 지속적으로 포화되지 않는 환경에서 잘 작동합니다. 기존 클라우드 워크로드나 더 작은 AI 클러스터에서도 비용과 성능 간의 합리적인 균형을 여전히 제공할 수 있습니다. 문제는 AI Factories가 더 이상 그렇게 동작하지 않는다는 점입니다. 트래픽은 더 밀집되고, 더 지속적이며, 병목 현상이 발생할 때 여유가 더 적습니다.

스위치 아키텍처가 200G SerDes로 전환되면 800G가 더 합리적으로 보이기 시작합니다. 여러 개의 더 느린 링크를 결합하는 대신, 스위치 용량과 광 인터페이스 간의 연결이 더 명확해집니다. 이는 일부 상황에서 구성을 더 단순하게 만들 수 있지만, 더 중요한 것은 추가 공간 없이 전반적인 생산성을 높인다는 점입니다. 대규모 GPU 클러스터에서는 이러한 효율성이 빠르게 누적됩니다.

800G NVIDIA/Mellanox MMS4X00-NS Quantum-2 및 Spectrum-4 공랭식 스위치, 액체 냉각 및 DGX-H100 시스템, ConnectX-7 및 BlueField-3 DPU와 호환됩니다.

그다음 1.6T가 있는데, 이는 실제로 업그레이드라기보다는 다음 단계를 준비하는 것에 더 가깝게 느껴집니다. 이는 더 높은 포트 밀도를 가능하게 하여 동일한 규모를 달성하는 데 필요한 스위치 수를 줄여 줍니다. 비트당 전력 효율도 향상되며, 이는 에너지 소비가 확장을 제한하기 시작하는 상황에서 중요합니다. 매우 대규모의 AI 배포 환경—수만 또는 수십만 개의 GPU를 생각해 보십시오—에서는 800G로 확장하는 것과 1.6T로 전환하는 것의 차이가 단지 기술적인 것에 그치지 않고, 비용 모델과 물리적 배치에도 영향을 미칩니다.

1.6T NVIDIA/Mellanox MMS4A00 Quantum-3 공랭식 및 수랭식 스위치와 호환됩니다.

실제로 이러한 옵션들은 하루아침에 서로를 대체하지 않습니다. 대개 함께 사용됩니다. 400G는 여전히 엣지나 요구 수준이 낮은 구간에서 사용될 수 있습니다. 800G는 현재 AI 클러스터의 주요 패브릭이 되고 있습니다. 1.6T는 신규 구축 환경이나 밀도와 효율성이 가장 중요한 네트워크 일부에서 등장하기 시작합니다. "최선"의 선택은 사양표보다 시스템이 시간이 지남에 따라 어떻게 변화할 것으로 예상되는지에 더 많이 좌우됩니다.

솔루션 제공업체가 도움을 줄 수 있는 부분도 바로 여기입니다. 예를 들어 QSFPTEK는 800G 및 1.6T 광 모듈, 그리고 AI 데이터 센터에 적합하게 설정하는 방법도 다룹니다. 초점은 단순한 속도 계층이 아니라 이러한 계층이 실제 아키텍처에 어떻게 들어맞는지에 있습니다. 경우에 따라 동일한 네트워크 내에서 세대를 혼합하면 한 번에 전체 업그레이드를 강제하는 것보다 더 나은 결과를 얻을 수 있습니다.

전망: 1.6T가 생각보다 가까운 이유

800G가 점점 더 보편화되고 있지만, 이것이 최종 버전처럼 느껴지지는 않습니다. AI 워크로드는 증가하고 있지만, 항상 같은 방식으로 증가하는 것은 아닙니다. 모델은 더 커지고 있지만, 동시에 더 상호작용적으로 변하고 있습니다. 추론은 더 이상 단순한 요청-응답 주기가 아닙니다. 여러 단계, 외부 도구, 더 긴 컨텍스트 창이 포함될 수 있습니다. 이 모든 것이 시스템을 통해 이동하는 데이터의 양을 증가시킵니다.

단일 위치를 넘어서는 규모의 문제도 있습니다. 일부 최신 아키텍처는 여러 데이터 센터를 하나의 논리적 환경으로 연결하도록 설계되었습니다. 이는 새로운 지연 시간 및 동기화 문제와 함께 거리라는 요소를 방정식에 추가합니다.

1.6T optics는 이 구도에 매우 자연스럽게 들어맞습니다. 모든 것을 해결하지는 못하지만, 대역폭과 밀도와 관련된 즉각적인 제약 중 일부를 제거합니다. 한계를 계속 우회하는 대신, 네트워크 설계가 다시 조금 더 유연해집니다. 그것만으로도 대규모 배포를 단순화할 수 있습니다.

결론

QSFPTEK는 1.6T 포트폴리오와 기타 AI 인프라 솔루션으로 이러한 시나리오에 대비해 왔습니다. 항상 가능한 한 빠르게 나아가는 것이 중요한 것은 아닙니다. 네트워크가 점진적 업그레이드만으로는 충분하지 않은 지점에 도달했을 때 선택지를 준비해 두는 것이 더 중요합니다.

결국, AI Factory라는 개념은 모든 것을 flow—데이터가 어떻게 이동하는지, 얼마나 빠르게 이동하는지, 그리고 한 곳에서 다른 곳으로 얼마나 안정적으로 전달되는지로 되돌립니다. 광 모듈은 보통 많은 주목을 받지 않지만, 바로 그 경로에 자리하고 있습니다. 그리고 시스템의 나머지 부분이 계속 확장됨에 따라, 그 역할은 무시하기가 점점 더 어려워집니다.