InfiniBand ネットワークが HPC データセンターを強化する方法
著者 Moore
日付 04/02/2025
InfiniBandネットワークは、高性能コンピューティングデータセンターの能力を高めています。データ分析や機械学習を必要とする高スループットアプリケーションが急速に増加しており、より多くの分野でこれらのネットワークが利用され始めるにつれて、高速かつ低遅延のネットワークに対する需要が急増しています。InfiniBandは高速接続向けに設計された新しい技術であり、近年、世界各地の主要な高性能コンピューティングセンターで広く使用されています。次のセクションでは、InfiniBandネットワークとその製品ファミリーについて詳しく説明します。
InfiniBandネットワーク入門
InfiniBandについて聞いたことがあるかもしれませんが、具体的にはどのようなものでしょうか？これは、高帯域幅、低遅延、高信頼性を備え、スーパーコンピュータークラスターで広く使用されている、オープンスタンダードの高速ネットワーク相互接続技術です。その主な役割は、データスイッチを接続するとともに、データセンター内およびストレージシステム間に効率的なデータ転送チャネルを提供することです。
完全なInfiniBandシステムは通常、チャネルアダプタ（CAs）、スイッチ、ルーター、ケーブル、コネクタで構成されます。その中で、チャネルアダプタはホストチャネルアダプタ（HCAs）とターゲットチャネルアダプタ（TCAs）に分けられます。
InfiniBandスイッチは一般的なネットワークスイッチに似ていますが、InfiniBandの高性能かつ低コストという要件を満たす必要があります。InfiniBandルーターは異なります。大規模なネットワークをより小さなネットワークに分割し、それらをルーターで接続することで、データ転送をより効率的にします。
HCAは、サーバーまたはストレージデバイスをInfiniBandネットワークに接続するために使用されます。TCAは、通常、ストレージデバイスのような組み込み環境で使用される専用チャネルアダプターで、安定した効率的なデータ相互作用を確保します。
InfiniBandスイッチとは？
InfiniBandスイッチ（IBスイッチ）は、PoEスイッチ、SDNスイッチ、NVGRE/VXLANスイッチと同様に、ネットワークスイッチハードウェアにInfiniBand機能を追加するデバイスと考えることができます。現在市場における主要なIBスイッチベンダーには、NVIDIA (Mellanox)、Intel、Oracleがあります。価格は、ベンダーとスイッチの具体的な構成によって異なります。
IBスイッチには、さまざまなポート数、コネクタタイプ、InfiniBandバージョンの製品があります。たとえば、NVIDIAのInfiniBandスイッチには、8～64個のQSFP56/OSFP HDR/NDRポートが搭載されています。HDR版とNDR版のスイッチは、それぞれ200Gb/sと400Gb/sのデータレートに対応し、Remote Direct Memory Access (RDMA)、Adaptive Routing、NVIDIA Scalable Split-Routingなどの先進技術を備えています。また、NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP™)にも対応しています。
InfiniBandトランシーバー：高性能コンピューティングの主要コンポーネント
InfiniBandトランシーバー ハイパフォーマンスコンピューティングにおいて重要な役割を果たします。QSFPTEKは、200G HDR InfiniBandトランシーバー、400G NDR、および800G NDR InfiniBandトランシーバーを提供しており、それぞれがさまざまなアプリケーションシナリオのニーズに対応する異なる特長を備えています。
HPCデータセンターにおけるInfiniBandネットワークの解明
ハイパフォーマンスコンピューティング（HPC）の分野では、データセンターはネットワークに対して高い要件を課しており、高速データ転送専用に設計されたアーキテクチャであるInfiniBandは、この需要に対応できます。簡単に言えば、InfiniBandにより、さまざまな種類のデバイスが高速接続を介して相互に通信でき、その優れた帯域幅と低レイテンシーという特性から、多くのHPCデータセンターで推奨される選択肢となっています。
InfiniBandをご存じない場合は、さまざまなコンピューティングノード、ストレージデバイス、分析システムが効率的にデータを交換する、データセンターの「高速道路」と考えてください。ポート速度に応じて、InfiniBandスイッチにはQDR、FDR、NDR、XDRなどのバージョンがあり、それぞれ異なるレベルのパフォーマンスを提供して、コンピューティングセンターのタスクを円滑に稼働させます。
大規模コンピューティング環境では、InfiniBandを使用して、ホストをストレージシステムやグラフィックスプロセッシングユニット（GPU）などのさまざまな周辺機器に接続することもできます。4Kパケットをサポートし、ポイントツーポイントの双方向シリアルリンクを4Xまたは12X接続に統合することで、最大300Gbpsのデータスループットを実現します。この伝送容量は、大量のデータを処理する必要があるHPCシステムにとって大きな利点です。
近年、高性能コンピューティングに対する需要の高まりに伴い、大手テクノロジー企業はHPC業界のさらなる発展を促進するため、InfiniBand技術をベースとした製品を次々と発表しています。QSFPTEKは200G QSFP56 SR4およびFR4 HDR InfiniBandトランシーバーを提供しています、 400G OSFP SR4 およびDR4 NDR InfiniBandトランシーバー、そしてHPCデータセンターにおける選択肢の一つとしての800G OSFP 2xFR4 NDR InfiniBandトランシーバー。
InfiniBandがHPCデータセンターにとって重要なのはなぜですか？
今日のインターネットアーキテクチャは大規模で複雑であり、多くの組織が膨大な量のデータを処理するために高性能コンピューティングに依存しています。HPCデータセンターは、このコンピューティング需要を満たすように調整されています。ネットワーク帯域幅とレイテンシは、HPCにとって最も重要な指標の2つです。InfiniBandは、非常に高い帯域幅と超低レイテンシを提供し、コンピュートノード、ストレージシステム、分析プラットフォーム間の通信をよりスムーズにするため、HPC分野で好まれています。
簡単に言えば、HPCデータセンターがInfiniBandを選択するのは、低遅延を維持しながら非常に高速にデータを処理でき、ネットワークのボトルネックによって計算タスクが妨げられるのを防げるためです。このような特長は、コンピューティングの規模が拡大し続けるにつれて、特に重要になります。
今後、人工知能、ビッグデータ分析、クラウドコンピューティングなどの分野で高性能コンピューティングの需要がさらに増加するにつれて、InfiniBandはデータセンターの重要な構成要素であり続けるでしょう。
高性能コンピューティングデータセンターにおけるInfiniBandネットワーク独自の利点
近年、データ伝送、インターネット、ビジュアルプレゼンテーションに関する新技術が次々と登場する中、コンピューティング能力の強化、ストレージの拡張、より効率的なネットワークのサポートが不可欠になっています。これらの点において、InfiniBandネットワークは、高帯域幅と低遅延という特性により、高性能コンピューティング（HPC）データセンターのネットワークアーキテクチャを最適化し、コンピューティングリソースをより効率的に活用できるようにします。
ネットワーク効率の向上
InfiniBand（IB）ネットワークでは、プロトコル処理とデータ転送のタスクをCPUからネットワークハードウェアへ移行できるため、CPUリソースが解放され、超高解像度シミュレーション、大規模データ分析、並列コンピューティングなどの高負荷なコンピューティングタスクに集中できます。InfiniBandは、従来の10Gbps Ethernetよりも高い転送速度を実現し、最新バージョンでは最大168Gbps（12xFDR）に達し、10Gbpsおよび100Gbps Ethernet接続を大きく上回ります。Web 2.0、クラウドコンピューティング、ビッグデータ処理、財務モデリング、仮想化データセンター、ストレージアプリケーションなど、高速コンピューティングに依存する業界において、InfiniBandはタスクの実行時間を短縮するだけでなく、運用および保守コストも削減する性能向上をもたらします。
より高い帯域幅のサポート
100G時代にはEthernetが主流でしたが、InfiniBandはHPCコンピューティングアーキテクチャの高帯域幅要件を満たすため、100G/200Gレートのスイッチの登場により進化を続けています。高速かつ低遅延であることから、InfiniBandスイッチはHPCデータセンターに最適で、サーバーの効率的な稼働を可能にし、アプリケーション全体のパフォーマンスを大幅に向上させます。
優れた拡張性
InfiniBandネットワークは、単一のサブネットで最大48,000ノードをサポートできます。また、ARPのような従来のブロードキャストメカニズムを使用しないため、追加のネットワーク帯域幅を浪費する可能性のあるブロードキャストストームやその他のエラーが発生しません。さらに、異なるIBサブネットをスイッチ経由で効率的に相互接続できるため、より柔軟にネットワークを拡張できます。
結論
優れた技術アーキテクチャにより、InfiniBandネットワークはHPCデータセンターにおいて高い応用価値を示しています。ネットワークアーキテクチャを簡素化し、多階層ネットワークの遅延を低減するとともに、コアコンピューティングノードに対してより円滑な帯域幅アップグレードパスを提供します。技術の発展に伴い、InfiniBandネットワークの応用シナリオは今後も拡大し、徐々にHPC分野の重要な基盤となっていくでしょう。
共有
