AIコンピューティングアーキテクチャの進化：スケールアップ対スケールアウトと光モジュールの選択

大規模モデルのパラメータ数が数兆に達し、AIクラスターの規模が数十万基のGPUに近づくにつれ、基盤となるコンピューティングインフラストラクチャでは大きなアーキテクチャ上の変革が進んでいます。AIコンピューティング向けの2つの主流ネットワークモデルである—Scale-UpとScale-Out—は、それぞれ異なる技術的方向に沿って進化していますが、実際には重要な点で徐々に融合しつつあります。 

この変化は、本質的に「低遅延と高い拡張性」と「高信頼性とコスト管理」の間で繰り返されたトレードオフの結果です。同時に、光モジュール技術（LPO、NPO、CPOなど）の継続的な進化が、システム設計にますます大きな影響を与えています。

スケールアップとスケールアウト：2つのアプローチの違いとトレードオフ

AIコンピューティングクラスターの設計において、Scale-UpとScale-Outは当初から目標が異なり、評価基準も同じ次元に沿ったものではありません。これらは、方向性の異なる2つのアプローチとして理解できます。

スケールアップ：低遅延と強い整合性を重視した密結合アーキテクチャ

スケールアップは、単一ノードの計算能力を拡張することに近く、本質的には既存のGPUアーキテクチャ内における「水平統合」です。高度に結合された計算ユニットを構築することで、複数のGPUのローカルメモリを統合された論理空間として抽象化し、計算コアがリモートメモリへアクセスする際に、ローカルに近いHBMを利用しているかのように扱えるようにします。このニアメモリ・セマンティクスのアプローチは、規模の拡大だけでなく、計算とデータの間の距離を最小化し、高い一貫性と安定性を維持しながら、レイテンシをマイクロ秒未満に短縮することも目的としています。

スケールアウト：スケーラビリティを重視した分散コンピューティングモデル

対照的に、Scale-Outは、多数のノードをネットワーク経由で一体的に編成することにより、分散したコンピューティング能力を組み合わせる方式に近いものです。一般的な実装は2層または3層のClosアーキテクチャに基づいており、数万基、あるいはそれ以上のGPUを同一のトレーニングクラスターに接続して、データ並列処理、パイプライン並列処理、その他のトレーニングモードをサポートします。このアプローチでは、スケーラビリティとコスト管理を重視し、現在のハードウェアおよびソフトウェアと連携しながら、システムを常に利用可能な状態に保ち、ニーズに応じて拡張できるようにします。

一般に、Scale-Upは、最高のパフォーマンスと低レイテンシーを実現するために「個々の能力」を向上させることを指します。一方、Scale-Outは、大規模クラスターの円滑な稼働を可能にする「スケール効率」を重視します。前者は高性能コンピューティングのコアユニットに重点を置き、後者は大規模なトレーニングと推論のための基盤ネットワークを形成します。実際のAIインフラストラクチャでは、この2つのモードが共存し、相互に補完し合うことがよくあります。

現在の進化：スケールアップアーキテクチャの変化とスケールアウトの簡素化傾向

近年、Scale-UpとScale-Outは急速に進化しており、大手メーカーはそれらを実際に導入する方法を確立しています。その目標は、複雑さを軽減しながらパフォーマンスを向上させることです。

スケールアップ：シャーシベースから複数フォームの共存へ、224Gインターコネクトが主要ノードに

成長企業向けの初期ソリューションは、主に「シャーシSuperNodes」に重点を置いていました。これは、コンピューティングリソースを単一のシステムに集約し、高速リンクを介して接続するものでした。これらのソリューションでは安定性と一貫性が重視され、通常は「ケーブルバックプレーン + L1/L2スイッチング」の組み合わせが採用されていました。シャーシ内部の相互接続では、高い帯域幅密度を確保するために主として電気接続が使用され、シャーシ間の拡張では光インターコネクトが使用されていました。

224G光インターコネクトは、スケールアップシナリオにおける主流の選択肢になりつつあります。コストモデルの観点から見ると、 1.6T光モジュール 今後3～5年間は、800Gの約1.2～1.4倍で推移する可能性が高いでしょう。この差は、LPOベースであっても従来のDSPアーキテクチャベースであっても、かなり容易に対処できます。しかし、112G技術を使用すると、同じ帯域幅を実現するためにより多くのファイバーが必要になることが多く、結果的にコストが高くなります。帯域幅、消費電力、配線の複雑さなどの要素を考慮すると、長期的には224Gソリューションの方が優れています。

QSFPTEK 1.6T 光モジュール

業界はこのトレンドに追随し、1.6Tの速度に対応するQSFPTEKのOSFPシリーズモジュール（2×DR4や2×FR4仕様など）といった関連製品の開発を開始しています。これらは主に、将来のスーパーノードアーキテクチャに求められる高帯域幅かつ低遅延の要件を満たすことを目的としています。また、これらの製品は、データセンターが次の成長段階へ進むための準備にも役立ちます。

スケールアウト：3層から2層へ、ネットワーク構造は徐々にフラット化

スケールアウトアーキテクチャにおける大きな変化は、設計全体の簡素化がますます重視されていることです。従来一般的だった3層Closネットワークは、徐々に2層Closアーキテクチャに置き換えられつつあります。中間層の数を減らすことで、ネットワークパスがより直接的になり、システムの複雑さが軽減されます。この設計では、数十万基のGPUを対象とするトレーニングクラスターであっても、ネットワークコストを抑えながら高い拡張性を維持できます。

この変化は、主にスイッチングチップの性能向上によるものです。ポート規模が拡大し続ける中、たとえばRadixが512ポートに達すると、2層Closネットワークは100,000を超えるノード規模を直接サポートでき、一部の設計モデルでは、追加のコアスイッチング層を必要とせずに約130,000枚のアクセラレータカードをカバーすることさえ可能です。これは、大規模なAIクラスターが、拡張時にも明確なネットワークトポロジーを維持しながら、帯域幅密度を保てることを意味します。

マルチプレーンネットワーク：マルチプレーン設計による帯域幅負荷の軽減

この基盤を踏まえ、一部のメーカーは新たなネットワーク構成手法の検討を始めています。例えば、関連研究で提案されているMulti-Planeアーキテクチャは、その代表的なアプローチです。この方式では、AI-NICが複数の高速ポートを介して異なるClosネットワークプレーンに同時にアクセスします。例えば、4つの200Gインターフェースを使用して4つの独立したネットワークプレーンに接続し、送信側ではラウンドロビン方式を用いて同じデータストリームを各プレーンに分散します。

受信側では、順不同書き込みをサポートするデータ処理メカニズムが異なる経路からのデータを再構成するため、単一リンクがボトルネックになることはありません。このアプローチにより、Scale-Outシナリオにおける単一GPUの帯域幅利用率が向上し、一部のテストモデルでは全体の利用率が95%を超えます。

トレンドの観点から見ると、Scale-Outの焦点は単に規模を拡大することではなく、構造の最適化とネットワーク設計の革新を通じて、超大規模AIクラスターにおける帯域幅、効率、コストのより合理的なバランスを実現することにあります。

光モジュール選定のトレンド：LPO/NPOの人気が高まり、CPOは徐々に衰退

Scale-UpとScale-Outの両アーキテクチャにおいて、光モジュールは接続媒体であるだけでなく、レイテンシー、消費電力、リンクの安定性にも直接影響します。そのため、光モジュールのフォームファクターの選択に関して、技術的アプローチごとの差異がますます顕著になっています。LPO、NPO、従来のDSP対応ソリューションの違いがより明確になる一方、CPOの普及度は相対的に低下しています。

スケールアップ：低遅延ソリューションはLPO/NPOを優先

システムをスケールアップするシナリオでは、レイテンシーと消費電力の削減が目標となります。そのため、DSPを使用しないLPOまたはNPOソリューションの人気が高まっています。これらの光モジュールでは信号処理経路が簡素化されるため、消費電力が大幅に削減されます。例えば、ある 800Gモジュール LPOソリューションを使用した場合の消費電力は約6Wで、通常約15Wを消費する従来のDSP搭載製品に比べて大幅に改善されています。

QSFPTEK 800G光モジュール

同時に、データ処理におけるDSPの関与が減ることで、リンク遅延も短縮されます。片方向の遅延は数十ナノ秒短縮でき、往復遅延ではさらに顕著な短縮が可能です。これらの特性により、「短距離、高い一貫性」というスケールアップ要件への適合性が高まり、AIデータセンター向けに最適化された一部のLPO製品は、これらの指標を中心に設計されています。

スケールアウト：DSPアーキテクチャは依然として主流の選択肢

ただし、システムをスケールアウトする環境では、状況がまったく異なります。デジタルシグナルプロセッサ（DSP）を搭載した光モジュールは、大規模なネットワーク接続や長距離伝送の処理に優れています。このため、引き続き推奨される選択肢となっています。

一方、エラー制御の観点では、DSPはより複雑な前方誤り訂正メカニズムをサポートでき、訂正後のリンクでより低いエラー率を実現できるため、長距離伝送のシナリオに適しています。これに対し、LPO/NPOモジュールはこの点での能力が比較的限られており、データセンター間または10 km級のリンクに求められる安定性要件を満たせないことがよくあります。

一方、大規模クラスタでは通常、複数ベンダーの機器が混在して導入されるため、相互運用性に対する要求がより高くなります。標準プロトコル（IEEE 802.3など）に基づくDSP光モジュールは、ベンダー間の互換性がより成熟していますが、LPO/NPO規格は依然として発展途上にあり、エコシステムはまだ完全には統一されていません。

全体として、2つの技術的方向性が明確になっています。Scale-Upでは通常、LPO/NPOを使用して低遅延と低消費電力を実現します。Scale-Outでは、長距離伝送とシステム互換性を確保するために、引き続きDSPアーキテクチャに依存します。実装方法は異なりますが、帯域幅の進化において両者は同じ目標を共有しています—224Gのシングルチャネル速度への移行です。

統合と実装における真の課題：機会と限界の共存

スケールアップの高い信頼性とスケールアウトの大規模な拡張性が交わり始めると、「コンバージドネットワーク」という方向性は自然に思えます。しかし、実験段階から大規模展開に至るまでには、依然として避けられない障壁がいくつかあります。

アーキテクチャ上の違い：メモリセマンティクスとメッセージセマンティクスを統一する難しさ

この2つのシステムは異なるレベルで動作します。Scale-Upは「メモリセマンティクス」のようなもので、GPUがリモートリソースにアクセスするための方式です。これにより、すべてのデバイスが相互に高速通信できるようになります。一方、Scale-Outは「メッセージセマンティクス」に基づいて構築されており、データの送受信にはRDMAのようなメカニズムを使用します。基本的には明示的な通信モデルです。システムの設計および構築方法に大きな違いがあるため、両者の統合は、単にすべてが相互通信できるようにするよりも複雑です。

一貫性のない信頼性経路：安定したリンクを導入する方法

設計の信頼性を確保するため、Scale-Upでは通常、「ケーブルバックプレーン＋スイッチング構造」を使用してリンク障害のリスクを低減し、クリティカルパスを高い安定性が保たれる範囲内に維持します。これに対し、Scale-Outシステムでは通常、相互接続に光モジュールを使用します。コンバージェンスを実現するには、一部のScale-OutトラフィックをScale-Upの信頼性の高いリンクへ迂回させる必要があり、既存のネットワークトポロジーの再構築が求められます。数万枚、さらには数十万枚のカードを備えたクラスターでは、このような調整は本質的に複雑なエンジニアリングプロジェクトとなります。

ベンダー間連携：標準とエコシステムは依然として断片化

コンバージドネットワークは、単なるアーキテクチャ上の問題ではなく、業界全体の連携にも関わるものです。スイッチングチップ、GPU、光モジュール間で、より緊密な規格の整合が必要です。たとえば、LPO関連のソリューションでは、ベンダー間の相互運用性を確保するため、統一仕様をさらに整備する必要があります。同時に、メモリベースのスイッチング構造は、各GPUベンダーのインターフェース実装に適応する必要があります。現在、大手ベンダーは主に自社のエコシステムに注力しており、プロトコルや実装方法が完全には統一されていないため、コンバージェンスの進展がある程度遅れています。

これらの課題をめぐって、いくつかの重要な疑問が浮上しています。LPOには、相互運用性の面でブレークスルーを実現し、より汎用的な光インターコネクトソリューションとなる可能性があるのでしょうか？メモリセマンティクスとメッセージセマンティクスをソフトウェアレベルで統合し、システムに低遅延と高い拡張性の両方を実現させることは可能でしょうか？

確かなのは、コンピューティングインフラをめぐる競争がより深い段階に入ったということです。光モジュール技術、ネットワーク構造、業界の協業方法に対するあらゆる調整が、結果に影響を及ぼします。単に2つの道のいずれかを選ぶのではなく、同じインフラ内で異なるシステムが協調して動作できるようにすることが、より現実的な方向性かもしれません。この傾向に沿って、2つのモードをつなぐ移行形態として、"Scale-Across"に似た構想も提案されています。