200Gインターコネクトの選び方：InfiniBand HDRとEthernetの比較

最新のデータセンターやAIトレーニングクラスターのアーキテクチャ設計を検討する際、ネットワークエンジニアは、InfiniBand HDRと200GbE Ethernetのどちらを選ぶかという重要な判断に直面することがよくあります。データレートが同じ200Gであっても、両技術の動作が同じというわけではありません。InfiniBand HDRと200GbE Ethernetは、どちらも4本の50G PAM4レーンを使用する200G QSFP56接続に対応しています。プラットフォームとケーブルの仕様に応じて、これらのシステムでは短距離および中距離の接続にパッシブDACケーブルまたはアクティブ光ケーブルを使用できます。ただし、物理コネクターの互換性が、プロトコルの互換性を自動的に保証するわけではありません。

トランスポートアーキテクチャとフロー制御

200Gリンクの動作が、その上で実行されるプロトコルによって異なる理由を理解するには、各プロトコルのトランスポートとフロー制御の仕組みを調べる必要があります。選択するプロトコルにかかわらず、高密度200Gリンクを正常に立ち上げるには、信頼性の高い物理媒体が必要であり、その導入例としては 200G DACケーブル 向け 短距離のトップオブラック接続。

RoCEv2を使用するEthernet: Ethernetは、基本的に汎用のパケット交換技術です。RoCEv2は、UDP/IPカプセル化を使用して、Ethernet上でRDMAトランスポートトラフィックを転送します。これにより、RDMAトランスポートモデルの大部分を維持しながら、ルーティングされたIPネットワーク全体でRDMAアプリケーションを動作させることができます。ただし、IPルーティング、輻輳管理、パケット配送の動作など、ネットワーク層で考慮すべき事項も増えます。従来のEthernetは、InfiniBandで使用されるものと同じリンクレベルのクレジットベースのフロー制御を提供しません。レイテンシに敏感なRoCEv2環境では、ネットワーク運用者は通常、優先度ベースのフロー制御や明示的輻輳通知などの仕組みを、DCQCNなどの輻輳制御アルゴリズムと組み合わせます。これらの機能は輻輳時のパケット損失の低減に役立ちますが、その効果は適切な設定、バッファー管理、トラフィックエンジニアリングに大きく依存します。

InfiniBand HDR: InfiniBandは、低レイテンシかつ高スループットのクラスターコンピューティングに特化した、ネイティブなスイッチドファブリックとして設計されました。クレジットベースのフロー制御を使用して、リンクレベルでトラフィックを制御します。送信側は、受信側のバッファーに利用可能な空き容量があることを示す十分なクレジットを得てから、データを送信する必要があります。一方、集中管理型のSubnet Managerが、ファブリックの検出、設定、経路管理を処理します。このアーキテクチャは、輻輳による受信バッファーのオーバーランを防ぎ、Ethernet方式のPFC設定への依存を減らすのに役立ちます。ただし、ファブリック全体におけるあらゆる形態のパケットエラー、輻輳、再送がなくなることを保証するものではありません。

RDMAとAIクラスターの性能

最新のAIトレーニング、特に大規模言語モデルのトレーニングは、All-Reduce、All-Gather、Reduce-Scatterなどの集団通信操作に大きく依存しています。これらの操作により、複数のサーバーに分散したGPUが、トレーニング中にデータを交換し、モデルのパラメーターや勾配を同期できます。集団通信操作中に個々のノードで通信の遅延が発生すると、トレーニングの反復処理が完了するまでの時間が延びることがあります。同期がボトルネックになると、高速なノードが低速な参加ノードを待つ必要が生じ、GPU全体の使用率が低下する可能性があります。

RDMA は、両アーキテクチャの中核です。InfiniBandとRoCEv2はどちらもRDMAに対応しており、ホストCPUの関与を最小限に抑えながら、NICがリモートシステム上の登録済みメモリー領域間でデータを直接転送できます。RDMAは、データパス内のデータコピーとカーネル処理を減らすことで、CPUオーバーヘッドを低減し、高性能ワークロードの通信効率を向上させます。

ネイティブのInfiniBandは、ハイパフォーマンスコンピューティング専用に設計されたトランスポートとファブリックのアーキテクチャを提供します。RoCEv2もEthernet上で高いRDMA性能を実現できますが、大規模環境で一貫した結果を得るには、輻輳制御、キュー管理、ネットワーク設定に細心の注意を払う必要があります。

200G InfiniBand HDRと200GbE RoCEv2の比較

適切な200Gインターコネクトの選択

これら2つの技術を選択するには、アプリケーションのワークロード、既存のインフラストラクチャ、チームの運用に関する専門知識および技術的成熟度を総合的に評価する必要があります。

大規模なAIおよびHPCクラスター向け：

主なワークロードが大規模なGPUクラスターでの大規模ニューラルネットワークの学習であり、ノード間の同期レイテンシーが学習時間に直接影響する場合、InfiniBandはこうしたシナリオに特化して設計されたネットワークアーキテクチャを提供します。クレジットベースのフロー制御機構がリンク層でデータ転送を制御し、集中型のSubnet Managerがネットワーク構成とデータパスの一元管理を可能にします。大規模なスケールアウト環境では、InfiniBandの集中型サブネット管理とリンクレベルのクレジットベースのフロー制御により、ネットワーク管理が簡素化され、Ethernetで一般的に必要となる複雑なPFC設定や輻輳調整の必要性が軽減されます。ただし、導入前には、チームがSubnet Managerの管理にどの程度習熟しているかを評価し、既存のスイッチインフラストラクチャを確認するとともに、クラスターの将来的な拡張要件を検討する必要があります。

統合データセンター環境向け：

インフラストラクチャで汎用仮想化、コンテナ化されたマイクロサービス、高性能ブロックストレージなど、多様なワークロードをサポートする必要がある場合、RoCEv2を利用する200GbE Ethernetソリューションは、より高い柔軟性を提供します。BGPやEVPN-VXLANなどの既存のエンタープライズ向けルーティング技術やネットワーク仮想化技術とシームレスに統合できます。ただし、RoCEv2の導入には、QoSと輻輳管理に関する入念な計画が必要です。データセンターのスイッチがECNマーキングとPFCをサポートしていることを確認し、ネットワークインターフェースカードとネットワークインフラストラクチャ全体の両方が、DCQCNなどの輻輳制御機構に対応するよう正しく設定されていることを検証する必要があります。さらに、運用チームは、トラフィックの優先順位付け、バッファしきい値、ネットワーク輻輳時の動作に重点を置き、明確な設定基準と検証基準を策定する必要があります。

DACおよびAOCのケーブル配線に関する考慮事項

200Gデータセンターネットワークでは、DACとAOCのどちらを選択するかは、主にリンク距離、ケーブルの配線要件、プラットフォームとの互換性によって決まります。物理層の接続は、200Gリンク全体の信号品質を維持するうえで重要な役割を果たします。

パッシブQSFP56 DACケーブル： パッシブDACケーブルは、光トランシーバーや光ファイバーリンクではなく直接的な電気接続を使用するため、短距離の200Gインターコネクトにシンプルで費用対効果の高い選択肢を提供します。ただし、200Gリンクを設計する際には、ケーブル長、挿入損失、信号品質、プラットフォーム固有のFEC要件を考慮する必要があります。サポートされている構成では、互換性のあるブレークアウトケーブルを使用して、200G QSFP56ポートを2つの100Gリンクに分割できます。そのためには、接続元ポート、下流側インターフェース、ネットワーク機器が、同じブレークアウトモードとレーンマッピングをサポートしている必要があります。

アクティブ光ケーブル（AOC）： パッシブ銅線ケーブルの長さや配線上の制約が問題となる長距離接続では、アクティブ光ケーブルが実用的な代替手段となります。InfiniBand HDRの導入では、 AOC も、200Gからデュアル100Gへの分岐オプションを含め、さまざまな長さとブレークアウト構成で提供されています（これらのブレークアウトオプションは、特定のプロトコルと機器のサポートに依存することに注意してください）。これらのケーブルアセンブリは、銅線ケーブルが適さない場合や、より長い配線が必要な場合に、接続を簡素化できます。ただし、エンジニアはサポートされているプロトコル、到達距離、エンドポイントとの互換性を確認する必要があります。

結論

ネットワークアーキテクチャをワークロード要件に適合させることは、設計プロセスの一部にすぎません。エンジニアは、ケーブルの互換性、ブレークアウト構成、リンクの到達距離、エンドポイントの対応状況も確認する必要があります。ネットワークプロトコルと物理インターコネクトの両方を評価することで、データセンターチームは、AI、HPC、エンタープライズの各ワークロードにわたって、信頼性を保ちながら拡張できる200Gインフラストラクチャを構築できます。