RDMA Over Converged Ethernetとは何ですか？

RoCEは、高帯域幅かつ高性能なアプリケーションのニーズを満たす技術です。従来のTCP/IPプロトコルは遅延が大きく、帯域幅の利用効率も低いため、増大するネットワーク需要に対応できず、そこでRoCEが開発されました。RoCEはRDMA技術を通じてリモートメモリアクセスをEthernetに統合し、データ伝送効率を大幅に向上させるとともに、遅延を低減します。この記事では、RoCEとは何かを詳しく解説し、RoCEについて深く理解できるようにします。

RoCEネットワークとは

RoCE (RDMA over Converged Ethernet)は、ロスレスEthernet上で低遅延かつ高スループットのデータ伝送を実現するために設計された、Ethernetベースのリモートダイレクトメモリアクセス(RDMA)技術です。RoCE技術は、高性能コンピューティングおよびネットワークにおけるRDMA技術を標準Ethernetインフラストラクチャに導入し、従来のEthernetにRDMA機能と高性能コンピューティング特性をもたらします。そのため、RoCE技術はEthernetとRDMAの両方の強力な利点を備えています。

RoCEテクノロジーにより、既存のEthernetネットワーク上でInfiniBandと同等の高性能を実現できます。Ethernetプロトコルを最適化することで、レイテンシーを低減し、帯域幅を拡大します。従来のEthernetと比較すると、RoCEは既存のEthernetデバイスとの高い互換性を維持しながら、より低いレイテンシーと高いスループットを提供します。

RoCEの利点：RoCEの主な利点は、コスト効率と互換性です。Ethernet規格に基づいているため、市場にある成熟したネットワーク機器やケーブルを利用でき、単一ブランドや地域による制約を受けず、供給サイクルとアフターサービスにも優れています。重要なのは、Ethernetおよびその機器との優れた互換性も備えており、柔軟性を大幅に向上させながらコストを削減できることです。そのため、RoCE技術はデータセンター、HPC高性能ストレージ、人工知能などの分野でますます広く使用されており、GPUサーバー相互接続におけるコスト効率の高い相互接続技術となっています。QSFPTEKが提供する L3/L3+スイッチ RoCE2をサポートするもの。

RoCEの発展と種類

RoCE v1

2010年4月、IBTAはRoCEをリリースしました。この標準はInfiniband Architecture Specificationのアドオンとしてリリースされたため、IBoE（InfiniBand over Ethernet）とも呼ばれます。当時、RoCE標準はEthernetリンク層上のTCP/IPネットワーク層をIBネットワーク層に置き換えたため、IPルーティングをサポートしていません。そのため、RoCE v1と呼ばれます。

RoCE v1 (レイヤー 2) は Ethernet リンクレイヤー (レイヤー 2) で動作するため、Ethernet レイヤーにおける RoCE v1 プロトコルの typeID は 0x8915 です。そのため、通常のフレームサイズは 1500 bytes、ジャンボフレームは 9000 bytes です。

RoCE v1は、Ethernetリンク層に基づいて実装されたRDMAプロトコルであり（物理層での信頼性の高い伝送を確保するには、スイッチがPFCなどのフロー制御技術をサポートする必要があります）、同じVLAN内の2台のホスト間で通信できます。

RoCE v2

RoCE v1のデータフレームにはIPヘッダーが含まれていないため、L2サブネット内でのみ通信できます。この問題を解決するため、IBTAは2014年にRoCE V2を提案しました。RoCE v2はRoCE v1の拡張であり、GRH（Global Routing Header）をUDPヘッダー + IPヘッダーに置き換えています。RoCE v2は、RoCE v1が単一のVLANに制限されるという問題を克服します。IPおよびUDPヘッダーを含むようにパケットのカプセル化を変更することで、RoCE v2はL2およびL3ネットワークをまたいで使用できます。拡張されたフレーム構造を下図に示します。

RoCE v2 (Layer 3)はUDP/IPv4またはUDP/IPv6 (Layer 3)上で動作し、伝送にはUDPポート4791を使用します。RoCE v2パケットはLayer 3でルーティング可能であるため、RoCE v2はRoutable RoCE、略してRRoCEとも呼ばれます。

RoCE v2は、前世代のRoCE v1を進化・改良したものです。一連の改善を導入することで、従来の制約を効果的に解消し、パフォーマンスを総合的に向上させています。第2世代バージョンのRoCE v2は、大幅なパフォーマンス向上と柔軟性の強化によって際立っており、市場で主流のアプリケーションとなっています。

RoCEの実装

RoCE相互接続を実現するには、ネットワークカードデバイスにRoCEをサポートするドライバーをインストールする必要があります。すべてのEthernet NIC（Network Interface Cards）は、RoCEネットワークアダプターカード（つまりRoCEネットワークカード）をサポートしている必要があります。RoCEドライバーは、Red Hat、Linux、Windows、およびその他の一般的なオペレーティングシステムで利用できます。したがって、RoCEネットワークを実装するには、3つの方法が必要です。

a. サーバーまたはホストデバイスを接続するには、RoCEネットワークカードを使用する必要があります。

b. ネットワークスイッチには、PFC対応オペレーティングシステムをサポートするスイッチを選択してください。PFC（優先度ベースフロー制御）は、ロスレスEthernetを構築するために必要な手段の1つです。優先度に基づくフロー制御をホップごとに提供できます。この個別フロー制御方式により、一部のトラフィックが輻輳している場合でも、他のトラフィックへの干渉を防ぎながらネットワークを円滑に保つことができ、それによって広帯域幅と低遅延を確保できます。

c. インテリジェントなロスレスEthernetアーキテクチャを構築します。

RoCE NIC

RoCE NIC RoCE プロトコルをサポートするネットワークカードです。RDMA 技術を使用し、必要なハードウェア機能を統合しています。CPU を重いタスクから解放できるため、データ伝送のレイテンシを大幅に削減し、システム全体の動作性能と帯域幅を効果的に向上させることができます。 

高性能・広帯域幅スイッチ

広帯域が求められるため、RoCEでは多くの場合、高性能かつ広帯域のスイッチによるサポートが必要です。高性能かつ広帯域のネットワークスイッチを構築するための中核的な基盤は、スイッチのフォワーディングチップ技術にあります。

インテリジェントでロスレスなEthernetアーキテクチャ

上記のハードウェアリソースに加えて、RoCEネットワークでは、ネットワーク伝送中にパケット損失が発生しないように、インテリジェントなロスレスEthernetアーキテクチャを構築する必要もあります。

インテリジェント・ロスレス・ネットワークは、フロー制御技術と輻輳制御技術を使用して、ネットワーク全体のスループットを向上させ、ネットワーク遅延を低減します。一方、インテリジェント・ロスレス・ストレージ・ネットワークなどの技術を使用して、ネットワークとアプリケーションシステムの統合最適化を実現します。インテリジェント・ロスレス・ネットワーク技術とTCP/IPプロトコルスタックの対応関係に基づく、インテリジェント・ロスレス・ネットワークの技術アーキテクチャ図は次のとおりです:

IBネットワークとRoCE v2ネットワークの比較

技術比較

技術的な観点から見ると、InfiniBandは、ネットワーク転送性能の向上、障害復旧時間の短縮、スケーラビリティの向上、および運用・保守の複雑さの軽減を実現するために、多くの技術を使用しています。

ビジネスシナリオの比較

業績: InfiniBandのエンドツーエンド遅延はRoCE v2よりも低いため、InfiniBand上に構築されたネットワークは、アプリケーション層のビジネスパフォーマンスにおいて優位性があります。ただし、RoCE v2のパフォーマンスも、ほとんどのインテリジェントコンピューティングシナリオにおけるビジネスパフォーマンス要件を満たすことができます。

事業規模: InfiniBandは、10,000枚のGPUカードからなる単一クラスターをサポートし、全体的な性能が低下しないことを保証できます。また、業界には多くの商用実践事例があります。RoCE v2ネットワークは、全体的なネットワーク性能を大きく低下させることなく、単一クラスターで1,000枚のGPUカード規模をサポートできます。

業務運用・保守: InfiniBandは、マルチテナント分離機能や運用・保守診断機能などを含め、RoCE v2よりも成熟しています。

事業コスト: InfiniBand のコストは RoCE v2 より高く、これは主に InfiniBand スイッチおよびモジュールのコストが Ethernet スイッチより高いためです。

結論

RoCEは、RDMA機能をEthernetインフラストラクチャに統合することで、ハイパフォーマンスコンピューティングとEthernetベースのネットワークの間のギャップを埋めます。低遅延、高帯域幅、コスト効率を提供し、データセンターやクラウドコンピューティングなどのアプリケーションに理想的な選択肢となります。InfiniBandと比較して、より広い互換性と低コストを備えています。RoCEは遅延とマルチテナント管理の面でわずかに劣るものの、InfiniBandの地位を打破する非常に競争力のある代替手段です。