InfiniBandとEthernetの違いは何ですか？

接続技術の世界では、InfiniBandとEthernetにはそれぞれ独自の特性があり、どちらが優れているかを一概に言うことは困難です。それぞれが異なるアプリケーションシナリオで進化してきたため、両者はネットワークに不可欠な2つの技術となっています。

InfiniBandとEthernetとは？

InfiniBandネットワーク

InfiniBand また、Ethernet は設計上大きく異なります。InfiniBand は高い信頼性、低遅延、高帯域幅によりスーパーコンピュータークラスターで優れており、ほとんどのサーバー、特に GPU サーバーにとって最適な相互接続技術となっています。10 Gbit/s のデータレートでは、InfiniBand は各チャネルが 2.5 Gbit/s の基本レートで単一データレート (SDR) 信号を送信できます。単一チャネルは 5 Gbit/s および 10 Gbit/s に拡張でき、4X ケーブルで最大 40 Gbit/s、12X ケーブルで最大 120 Gbit/s のデータレートを実現し、InfiniBand の 2x (DDR) および 4x (QDR) データレート信号に対応できます。

イーサネット

1980年9月30日のリリース以来、EthernetはLANで最も広く使用されている通信プロトコルとなっています。InfiniBandとは異なり、Ethernetは複数のシステム間での情報の流れを円滑にすることを目的として設計されました。主に分散アーキテクチャを採用し、互換性を基盤としています。従来のEthernetでは通常、TCP/IPを基盤としてネットワークを構築しますが、現在ではRoCE（RDMA over Converged Ethernet）へと進化しています。一般に、EthernetはLAN上のコンピューターやその他のデバイスを接続するために使用できます。たとえば、コンピューターとプリンターを接続したり、プリンタースキャナーなどをLANに接続したりできます。有線ネットワークは光ファイバー経由で接続できるだけでなく、無線技術による無線接続も可能です。Ethernetの主な種類には、Fast Ethernet、Gigabit Ethernet、 10 Gigabit Ethernet、およびSwitched Ethernet。

InfiniBandとEthernetの違い

ハイパフォーマンスコンピューティングの分野において、InfiniBandはもともと、クラスターデータ伝送のボトルネックを解消し、時代のニーズに対応するために設計されました。そのため、InfiniBandとEthernetの間には、帯域幅、レイテンシー、ネットワークの信頼性、技術、適用シナリオの面で明確な違いがあります。

帯域幅

登場以来、InfiniBandはEthernetを先行してきました。その主な理由は、InfiniBandが主にハイパフォーマンスコンピューティングにおけるサーバー間接続に使用される一方、Ethernetは比較的低い帯域幅要件のエンドデバイス接続をより重視していることです。その結果、Ethernet規格では通常、相互運用性をどのように実現するかのみが考慮されますが、InfiniBand規格はより包括的であり、相互運用性だけでなく、高速データ伝送時のCPU負荷を軽減して帯域幅を効率的に使用し、CPUリソースの占有を可能な限り抑える方法にも重点を置いています。

ネットワークトラフィックが10Gを超える場合、すべてのパケットのカプセル化とカプセル化解除をCPU処理に依存すると、リソースの無駄になります。これは、高価なCPUリソースを使用して単純なネットワーク伝送タスクを処理するようなものであり、リソース配分の観点から費用対効果が高くありません。

この問題に対処するため、InfiniBandの第1世代SDRの速度は10Gbpsであったことから、DMA技術の考え方を取り入れてCPUをバイパスし、データ伝送の帯域幅を拡大するだけでなく、RDMA技術を提案することでCPUの負荷も軽減し、この課題を完全に解決しました。RDMAにより、帯域幅が大幅に拡大しても、CPUはネットワークトランザクションの処理により多くのリソースを費やす必要がないため、高性能コンピューティング全体の速度を低下させません。これが、InfiniBandがSDRの10Gbpsから今日のHDR 200Gbps、400Gbps、さらには800Gbps XDRへと急速に進化してきた理由です。

ネットワーク遅延

InfiniBandとEthernetは、レイテンシの点で大きく異なります。Ethernetスイッチはストアアンドフォワード方式とMACアドレステーブルの検索を使用するため、処理時間が比較的長くなります。一方、InfiniBandスイッチは、転送パスの検索に16-bitのLIDのみを必要とし、Cut-Through技術を使用して転送レイテンシを100ns未満に短縮するため、大幅に高速です。

ネットワークの信頼性

ハイパフォーマンスコンピューティングでは、パケット損失や再送が全体的なパフォーマンスに深刻な影響を与える可能性があるため、信頼性の高いネットワークプロトコルが必要です。InfiniBandは、Layer 1からLayer 4まで実装されたクラスオブサービス（CoS）メカニズムを使用しているため、常にトップダウンかつ階層的で、静的なロスレスパケット転送を行います。しかし、Ethernetには、ネットワーク輻輳を効率的に処理するためのスケジューリングベースのトラフィック制御メカニズムがありません。その結果、Ethernetスイッチはトラフィック量が多い場合に、より多くのキャッシュリソースを消費し、エネルギー消費に伴うコストを増加させます。

ネットワーク構築アプローチ

ネットワーキングの観点から見ると、InfiniBandの管理は比較的シンプルです。その設計にはSDNの概念が組み込まれており、ネットワーク内の各サブネットマネージャーがネットワークノードのIDの設定と、転送経路の一元的な計算を担当します。一方、Ethernetネットワークでは、MACテーブルのエントリを更新するためにパケットを定期的に送信し、VLANメカニズムを実装する必要があるため、比較的複雑です。

これら2つのネットワークのトポロジも異なります。Ethernetはスター・ツリーを含むさまざまなトポロジをサポートしています。需要に応じてネットワークを拡張できるよう、設計を柔軟に適応させることができます。一方、InfiniBandでは通常、高帯域幅と低遅延向けに最適化された専用トポロジ（Fat TreeやDragonflyなど）が使用されますが、大規模な拡張には、より多くの設計上の考慮が必要です。

アプリケーションシナリオ

InfiniBandは、高帯域幅、低遅延、並列コンピューティングへの優れた対応により、ハイパフォーマンスコンピューティング環境で広く使用されています。一方、Ethernetは企業ネットワークやホームネットワークなどで一般的に使用されており、低コストと広範な標準化という利点により、今なお重要な市場を占めています。コンピューティング能力に対する需要が増加し続ける中、世界のスーパーコンピューター上位500拠点におけるInfiniBandの利用は特に重要です。

同時に、2つのネットワーク互換性の側面が異なることを考慮する必要があります。Ethernetの場合、ほぼすべてのネットワーク機器がEthernet接続をサポートしています。ネットワーク用途で異なる機器ベンダーの製品を使用することも容易です。一方、InfiniBandは性能面で優位性があるものの、通常は専用機器を使用するため、互換性と柔軟性の面で多くの制約があります。

QSFPTEK InfiniBandおよびEthernet光トランシーバーの紹介

QSFPTEKは400G NDR InfiniBand光モジュールおよび800G NDR InfiniBand光モジュールを提供できます。 800G OSFP PAM4 光トランシーバーは、データセンターならびに800Gおよび2x 400Gアプリケーションで広く使用されています。Ethernetモジュールについては、1Gから800GまでのEthernet光トランシーバーを提供できます。標準モジュールに加えて、WDMトランシーバーやコヒーレントトランシーバーも多くの伝送速度で提供されています。各QSFPTEK光デバイスは、製品が完全に動作することを保証するため、ブランドスイッチ機器で100%テストされています。

結論

InfiniBandとEthernetは、それぞれ異なるシナリオに適しています。InfiniBandは、CPUの負荷を軽減しながら速度を大幅に向上させ、ネットワーク利用率を高めることができます。そのため、HPCにおける主要なソリューションの1つとなっています。将来的には、さらに高速なInfiniBand製品が登場する可能性があります。データセンター間のレイテンシー要件がそれほど厳しくなく、柔軟性と拡張性がより重要である場合、Ethernetは間違いなく検討に値する選択肢です。