AIデータセンターネットワーキングはどのように機能しますか？

AIデータセンターネットワーキングとは？

AIデータセンターネットワークとは、人工知能（AI）機能に対応するデータセンター内のネットワークインフラストラクチャを指します。これらの機能に対応するネットワークには、従来のネットワークよりも高いネットワーク拡張性、高性能、低遅延が求められます。AIおよび機械学習（ML）のワークロードは、通常のネットワークタスクよりも要求が厳しく、特に集中的なAIトレーニング段階ではその傾向が顕著です。

InfiniBandによるサーバーとストレージシステム間の高速で驚異的な通信により、このネットワーク技術はハイパフォーマンスコンピューティング（HPC）およびAIトレーニングネットワーク向けの一般的なプロプライエタリ技術となりました。その後、Ethernetはオープンな代替技術ソリューションとしてAIデータセンターネットワーキング市場で大きな支持を獲得しており、今後の発展において主流の技術になる可能性があります。

AIデータセンターネットワークにおいてEthernetへの注目が高まっている理由はいくつかありますが、運用効率とコスト管理が最初に挙げられる最も明白な理由です。技術管理の面では、現在Ethernetネットワークを構築・管理できるネットワークエンジニアが多数いる一方、独自仕様のInfiniBandネットワークに関する専門知識を持つ人材は限られています。第二に、コスト管理も大きな理由です。現在のAIデータセンター機器では 400Gb Ethernet、全体的な価格はInfiniBandソリューションよりも大幅に安価です。InfiniBandの機器および管理ツールは主にNvidiaを通じて調達される一方、Ethernetでは多種多様なネットワーク管理ツールを利用できます。

AIデータセンターネットワーキングはどのように機能しますか？

AI データセンターの膨大なコンピューティング需要を満たすために GPU サーバーが大量に導入されており、その結果、全体的なコストが増加していることに加えて、AI データセンターのネットワーキングコンポーネントも GPU の利用率を向上させる必要があり、つまり、より効率的にネットワーク化する必要があります。イーサネットネットワーキングは実証済みのオープンハウス技術であり、AI ワークロードのネットワーキングニーズに合わせて具体的に設計できる AI データセンターネットワークに適したソリューションです。そのネットワークアーキテクチャは、輻輳管理、負荷分散、低遅延によって強化され、ジョブ完了時間（JCT）を最適化します。簡素化された管理と自動化も、ネットワークの信頼性と一貫したパフォーマンスに貢献します。

ファブリック設計

AIデータセンターネットワークではさまざまなアーキテクチャ設計を使用できますが、any-to-anyノンブロッキングClosアーキテクチャを選択することが推奨されます。この設計では、NICからリーフおよびバックボーンまで一貫した400 Gbpsのネットワーク速度（800 Gbpsに向上する可能性あり）を活用することで、トレーニングフレームワークを最適化します。GPUの規模とモデルのサイズに基づいて、2層・3段ノンブロッキング構造または3層・5段ノンブロッキング構造を実装できます。

フロー制御と輻輳回避

Fabric容量に加えて、Fabric全体の信頼性と効率を向上させるには、その他の設計上の考慮事項も重要です。これらの考慮事項には、最適なリンク数で適切な規模に設定されたFabric相互接続、および輻輳やパケット損失を回避するためにトラフィックの不均衡を確認して修正する機能が含まれます。Explicit Congestion Notification (ECN)、Data Center Quantified Congestion Notification (DCQCN)、およびPriority-Based Flow Controlは、ロスレスデータ伝送を確保するためにトラフィックの不均衡に対処します。

データの輻輳を軽減するため、スイッチには動的かつ適応型のロードバランシングが導入されています。スイッチ上でトラフィックの動的な負荷分散とローカルな再配分を行うことで、トラフィックが均等に分散されます。適応型ロードバランシングは、トラフィック転送テーブルと次回転送テーブルを監視して不均衡を特定し、輻輳している経路を避けてトラフィックを誘導します。

ECNは、データ輻輳が避けられない場合に、アプリケーションへ事前に通知します。この間、リーフとスパインはECN対応パケットによって更新され、送信側に輻輳を通知します。これにより、送信側は伝送速度を下げてパケット損失を回避できます。送信側が速やかに応答しない場合、Priority-based Flow Control (PFC)により、Ethernetの受信側と送信側はバッファーの空き状況に関するフィードバックを共有できます。最後に、輻輳時には、リーフスイッチとスパインスイッチが特定のリンクのトラフィックを一時停止または抑制して輻輳を緩和し、パケット損失を防ぐことで、特定のトラフィッククラスのロスレス伝送を実現します。

拡張性とパフォーマンス

Ethernetソリューションは、HPCおよびAIアプリケーションを処理するための推奨オープンスタンダードとなっています。将来を見据えると(800GbE およびデータセンターブリッジング（DCB））、Ethernetは、より高速で信頼性と拡張性に優れているため、ミッションクリティカルなAIアプリケーションに求められる高いデータスループットと低遅延の要件に対応できます。

自動化

自動化は、AIデータセンターネットワークソリューションが最終ループを効果的に完結するのに役立ちます。しかし、すべての自動化が同じように作られているわけではなく、ネットワーク容量の価値を最大限に引き出すには、自動化ソフトウェアがエクスペリエンスファーストの運用を実現する必要があります。AIデータセンターの設計、導入、管理において英語で対応できます。反復可能で継続的に検証されるAIデータセンターの設計と導入を可能にし、人為的ミスを排除するだけでなく、テレメトリとトラフィックデータを活用してパフォーマンスを最適化し、障害をプロアクティブにトラブルシューティングしてネットワーク停止を回避することもできます。

AI主導の需要に対応するために、AIデータセンターネットワークが必要なのはなぜですか？

AIデータセンターネットワークは、生成AIおよび大規模な深層学習AIモデルによって生じる要件を満たします。AIモデルの開発には、次の3つのフェーズがあります：

フェーズ1：データ準備 - AIモデルのトレーニングに使用するデータセットの収集と整理。

フェーズ 2: AIトレーニング - AIモデルを大量のデータに触れさせてトレーニングし、パターンや関係性を学習させることで知能を発達させます。

フェーズ3：AI推論 - 学習済みモデルを実世界のシナリオに適用し、新しい未知のデータに基づいて予測や意思決定を行います。

ステージ3では通常、既存のデータセンターやクラウドネットワークを活用しますが、ステージ2（AIトレーニング）では、反復的な学習プロセスをサポートするために大量のデータとコンピューティングリソースが必要です。グラフィックス処理ユニット（GPU）は、AI学習や推論によく使用され、効率を高めるためにクラスター構成で用いられることが多くあります。しかし、クラスターの拡張はコスト増加につながる可能性があり、クラスター効率を損なわないAIデータセンターネットワークの重要性が浮き彫りになります。

大規模モデルのトレーニングには多数のGPUサーバーを接続する必要があり、時には数万台に及び、2023年にはサーバー1台あたり40万ドルを超えるコストがかかります。そのため、ジョブ完了時間を最適化し、異常なAIワークロードによって全体のジョブ完了が遅延するテールレイテンシを最小限に抑えることは、GPU投資のリターンを最大化するうえで極めて重要です。この文脈において、AIデータセンターネットワークは信頼性が高く、クラスター効率の低下を回避する必要があります。

AIデータセンターネットワーキングに関するよくある質問 

AIデータセンターネットワークはどのような問題を解決しますか？

人工知能では、生成AIやディープラーニングに必要な大量のデータと計算リソースへの需要が非常に高まっています。これは、AIモデルが継続的に収集するデータから学習し、パラメータを改善するという、モデル開発の反復プロセスを支えるためです。グラフィックスプロセッサはAIの学習および推論ワークロードに適していますが、大規模なデータセンターでは、GPUクラスターの構築に加えて、クラスターの拡張に伴ってAIモデルの効率を向上させる必要があります。このプロセスではコストも増加するため、クラスター効率を損なわないAIデータセンターネットワークを使用することが極めて重要です。

EthernetとInfiniBandの比較：AIデータセンターネットワークにはどちらが優れているか？

独自技術であるInfiniBandは、AI技術に一定の進歩と革新をもたらしてきましたが、InfiniBand機器の使用は高価であり、競争的な需給市場向けに低価格化することができず、専任のネットワーク技術者と組み合わせる必要があります。一方、Ethernet技術は、IP技術に次いで世界で最も広く使用されているネットワーク技術であり、AIアプリケーションの高いデータスループットと低遅延の要件も満たすことができます。現在では、強化されたData Center Bridging（DCB）機能を備えた800GbEのEthernet技術の事例も利用可能です。主にNVIDIAを通じて供給されるInfiniBand技術に比べ、Ethernetネットワーキングでは、より幅広い管理ツールを使用できます。要約すると、Ethernetファブリックは、高優先度かつミッションクリティカルなAIトラフィックに理想的です。