Untersuchung des Unterschieds zwischen InfiniBand EDR und 100Gb Ethernet

Mit der kontinuierlichen Ausweitung von Szenarien für Hochleistungsrechnen und künstliche Intelligenz steigen die Anforderungen von Rechenzentren an Netzwerkbandbreite, Latenz und Effizienz weiter. 100G InfiniBand und 100G Ethernet weisen als zwei Mainstream-Technologien deutliche Unterschiede in Leistung und Architekturkonzepten auf und stehen im Mittelpunkt schwieriger Entscheidungen vieler Unternehmen bei der Bereitstellung von Netzwerken. Hier analysieren wir die technischen Merkmale, die RDMA-Implementierung, die Leistung und die Anwendungsszenarien dieser beiden Lösungen, um Ihnen zu helfen, Klarheit zu gewinnen und die richtige Technologiewahl für Ihr Unternehmen zu treffen.

Das Infrastruktur- und Designkonzept von InfiniBand und Ethernet

Was ist InfiniBand EDR?

InfiniBand EDR (Enhanced Data Rate) ist eine Netzwerkverbindungstechnologie, die für Hochleistungsrechnerumgebungen entwickelt wurde. Ihr wichtigstes Merkmal ist ihre hochgradig anpassbare Architektur, die Zero-Copy-Datenübertragung auf Hardwareebene, Kernel-Bypass-Kommunikation und End-to-End-Flusskontrollmechanismen unterstützt, was zu Latenzleistungen im Mikrosekunden- oder sogar Submikrosekundenbereich und einer extrem hohen Bandbreitenauslastung führt.

Die Netzwerkarchitektur von InfiniBand verwendet einen dedizierten Switching-Chip, der mit Host Channel Adapters (HCAs) zusammenarbeitet, über einen verlustfreien Übertragungsmechanismus und adaptive Routing-Funktionen verfügt und sich damit ideal für Supercomputing-Cluster eignet. Die Netzwerkarchitektur von InfiniBand nutzt einen dedizierten Switching-Chip, der mit Host Channel Adapters (HCAs) mit verlustfreien Transportmechanismen und adaptivem Routing zusammenarbeitet, wodurch sie sich ideal für Supercomputing-Cluster, KI-Trainingsknoten und andere Umgebungen mit äußerst sensiblen Leistungsanforderungen eignet.

Was ist Ethernet?

Andererseits 100G Ethernet verwendet ein standardisierteres Netzwerkdesign, das auf bekannten Ethernet-Standards basiert und eine Vielzahl von Protokollen nutzt, um es kompatibel, benutzerfreundlich und kostengünstig zu machen. Sein Vorteil besteht darin, dass es schnell in bestehende Unternehmens- und Cloud-Computing-Infrastrukturen integriert werden kann, groß angelegte verteilte Bereitstellungen und Multi-Tenant-Szenarien unterstützt und damit zu einer der am häufigsten verwendeten Lösungen in Rechenzentren und kommerziellen Netzwerken wird.

Vergleich der RDMA-Protokollimplementierung zwischen InfiniBand EDR und 100G Ethernet

Die Remote Direct Memory Access (RDMA)-Technologie ist ein wichtiger Wegbereiter für effiziente Datenübertragungen, da sie die Kernel-Verarbeitung umgeht, die Latenz reduziert und die CPU entlastet. InfiniBand und Ethernet verfolgen in dieser Hinsicht unterschiedliche Technologiepfade.

InfiniBand unterstützt RDMA nativ und wurde rund um diese Technologie entwickelt. Es unterstützt Mechanismen wie Zero-Copy, Kernel-Bypass und verlustfreie Übertragungen durch Flusskontrolle auf Hardwareebene und virtuelle Kanäle. Seine HCAs (Host Channel Adapters) und Switching-Chips sind für diese Art der Hochleistungsübertragung optimiert und bilden ein geschlossenes, aber effizientes Technologiesystem.

Ethernet hingegen nutzt RoCE (RDMA over Converged Ethernet) und iWARP, um RDMA-Fähigkeit zu erreichen. RoCEv2, die gängige Lösung, arbeitet oberhalb der UDP-Schicht und löst das Problem der mangelnden Skalierbarkeit bei groß angelegten Bereitstellungen früherer Versionen, erfordert jedoch eine höhere Verlustfreiheit des zugrunde liegenden Netzwerks, beispielsweise die Notwendigkeit, Mechanismen wie Priority Flow Control (PFC) zu aktivieren. iWARP hingegen stützt sich stärker auf den TCP-Stack, der zwar weniger Anforderungen an die Netzwerkstruktur stellt, jedoch höhere Latenzzeiten und CPU-Overheads verursacht.

Leistungsvergleich zwischen InfiniBand EDR und 100G Ethernet

Aus den öffentlich verfügbaren Benchmark-Daten geht außerdem hervor, dass der Unterschied in der Latenz- und Bandbreitenleistung zwischen den beiden Netzwerklösungen deutlicher ist. In Tests mit OpenMPI und dem OSU Micro-Benchmarks-Tool, InfiniBand EDR liefert kleine Pakete etwa 10 % schneller als RoCEv2, mit einer durchschnittlichen Latenz im Mikrosekundenbereich oder darunter. Die Standard-Ethernet-Latenz ist aufgrund von Einschränkungen im Software-Stack und bei Puffermechanismen typischerweise höher als 10 Mikrosekunden.

In Bezug auf die Bandbreite erreicht InfiniBand dank seiner adaptiven Routing- und Überlastkontrollmechanismen bei nahezu Volllast eine Link-Auslastung von 99 %. Während die Leistung von RoCEv2 ebenfalls etwa 90-95 % erreichen kann, gilt dies jedoch nur, wenn die Netzwerkumgebung für eine tiefgehende Flusskontrolle optimiert wurde; andernfalls ist sie aufgrund von Paketverlusten anfällig für Leistungsschwankungen.

Unterschiede in den Anwendungsszenarien zwischen InfiniBand EDR und 100G Ethernet

Im High-Performance Computing (HPC) ist InfiniBand die gängige Wahl, insbesondere für Aufgaben, die MPI-Kommunikation erfordern, bei denen niedrige Latenz und stabile Bandbreite unersetzliche Vorteile darstellen. Szenarien der künstlichen Intelligenz, insbesondere groß angelegtes verteiltes Training, verlassen sich ebenfalls stark auf seine extreme Effizienz bei der Synchronisierung zwischen Knoten.

In Cloud-Rechenzentren, Unternehmensspeichern und Virtualisierungsszenarien treten die Vorteile von RoCEv2 zunehmend hervor. Es ist mit bestehenden Ethernet-Architekturen kompatibel, passt sich an SDN- und NFV-Frameworks an und kann RDMA-Fähigkeiten bieten, die denen von InfiniBand nahekommen, ohne zusätzliche Hardwarekosten zu verursachen. Gleichzeitig können Unternehmen mit Unterstützung von iSER (RDMA-based iSCSI Extension) effiziente NAS/SAN-Systeme aufbauen, ohne vollständig auf die InfiniBand-Architektur migrieren zu müssen.

Hochfrequenzhandelssysteme in der Finanzbranche tendieren weiterhin dazu, InfiniBand zu verwenden, um Latenzen im Nanosekundenbereich zu gewährleisten, während RoCE und iWARP für Umgebungen mit gemischter Auslastung, etwa in virtualisierten Clustern, in denen KI-Inferenz mit regulärer Datenanalyse koexistiert, kosteneffizientere Optionen bieten.

Fazit

InfiniBand bleibt eine unangreifbare Wahl, wenn extreme Leistung gefragt ist und die Budgets knapp sind. In eher unternehmensbezogenen Szenarien jedoch, in denen Skalierbarkeit und Flexibilität bei der Bereitstellung gefragt sind, bietet 100G Ethernet mit RDMA-Technologie einen lohnenden Kompromiss. Die endgültige Entscheidung hängt nicht nur von technischen Spezifikationen ab, sondern auch von der Entwicklungsrichtung Ihrer aktuellen Netzwerkarchitektur und den Merkmalen der Geschäftslast.

Welchen Weg Sie auch wählen, zuverlässige optische Module sind gleichermaßen entscheidend. 100G-Module wie die von QSFPTEK bereitgestellten, mit hoher Kompatibilität und Praxiserprobung, können Ihnen helfen, Netzwerk-Upgrades problemlos abzuschließen und eine stabile sowie effiziente Übertragungskapazität unter verschiedenen Technologiesystemen zu gewährleisten.