Auswahl von 200G-Verbindungen: InfiniBand HDR vs. Ethernet

Bei der Prüfung von Architekturentwürfen für moderne Rechenzentren und KI-Trainingscluster stehen Netzwerkingenieure häufig vor einer entscheidenden Frage: der Wahl zwischen InfiniBand HDR und 200GbE Ethernet. Eine gemeinsame Datenrate von 200G bedeutet nicht, dass die beiden Technologien auf dieselbe Weise arbeiten. Sowohl InfiniBand HDR als auch 200GbE Ethernet unterstützen 200G QSFP56-Verbindungen über vier 50G PAM4-Lanes. Abhängig von der Plattform und den Kabelspezifikationen können diese Systeme passive DAC-Kabel oder aktive optische Kabel für Verbindungen mit kurzer und mittlerer Reichweite verwenden. Die physische Kompatibilität der Steckverbinder garantiert jedoch nicht automatisch die Protokollkompatibilität.

Transportarchitektur und Flusssteuerung

Um zu verstehen, warum sich eine 200G-Verbindung je nach dem darüber ausgeführten Protokoll unterschiedlich verhält, müssen wir die jeweiligen Transport- und Flusssteuerungsmechanismen untersuchen. Unabhängig vom gewählten Protokoll setzt die erfolgreiche Inbetriebnahme jeder 200G-Verbindung mit hoher Portdichte robuste physikalische Übertragungsmedien voraus, beispielsweise den Einsatz von 200G DAC-Kabeln für Top-of-Rack-Verbindungen mit kurzer Reichweite.

Ethernet mit RoCEv2: Ethernet ist grundsätzlich eine universell einsetzbare Paketvermittlungstechnologie. RoCEv2 überträgt RDMA-Transportverkehr mithilfe von UDP/IP-Kapselung über Ethernet. Dadurch können RDMA-Anwendungen über geroutete IP-Netzwerke hinweg arbeiten und dabei einen Großteil des RDMA-Transportmodells beibehalten. Dies bringt jedoch auch zusätzliche Aspekte auf der Netzwerkschicht mit sich, darunter IP-Routing, Überlastungsmanagement und das Verhalten bei der Paketzustellung. Herkömmliches Ethernet bietet nicht dieselbe kreditbasierte Flusssteuerung auf Verbindungsebene wie InfiniBand. Bei latenzempfindlichen RoCEv2-Bereitstellungen kombinieren Netzwerkbetreiber typischerweise Mechanismen wie Priority-based Flow Control und Explicit Congestion Notification mit Algorithmen zur Überlastungssteuerung wie DCQCN. Diese Funktionen können dazu beitragen, Paketverluste bei Überlastung zu reduzieren. Ihre Wirksamkeit hängt jedoch stark von der richtigen Konfiguration, der Pufferverwaltung und der Verkehrssteuerung ab.

InfiniBand HDR: InfiniBand wurde gezielt als native Switching-Fabric für Cluster-Computing mit geringer Latenz und hohem Durchsatz entwickelt. Es nutzt eine kreditbasierte Flusssteuerung, um den Datenverkehr auf Verbindungsebene zu regeln: Vor der Datenübertragung muss ein Sender über genügend Credits verfügen, die den verfügbaren Pufferspeicher beim Empfänger anzeigen. Ein zentraler Subnet Manager übernimmt währenddessen die Erkennung, Konfiguration und Pfadverwaltung der Fabric. Diese Architektur hilft, durch Überlastung verursachte Überläufe der Empfangspuffer zu verhindern, und verringert die Abhängigkeit von einer Ethernet-typischen PFC-Konfiguration. Sie garantiert jedoch nicht, dass sämtliche Arten von Paketfehlern, Überlastungen oder erneuten Übertragungen in der gesamten Fabric ausgeschlossen sind.

RDMA und Leistung von KI-Clustern

Modernes KI-Training, insbesondere das Training großer Sprachmodelle, ist stark auf kollektive Kommunikationsoperationen wie All-Reduce, All-Gather und Reduce-Scatter angewiesen. Diese Operationen ermöglichen es GPUs, die auf mehrere Server verteilt sind, während des Trainings Daten auszutauschen und Modellparameter oder Gradienten zu synchronisieren. Bei kollektiven Operationen können Kommunikationsverzögerungen an einzelnen Knoten die Abschlusszeit einer Trainingsiteration verlängern. Wenn die Synchronisierung zum Engpass wird, müssen schnellere Knoten unter Umständen auf langsamere Teilnehmer warten, wodurch die gesamte GPU-Auslastung sinkt.

RDMA ist für beide Architekturen von zentraler Bedeutung. Sowohl InfiniBand als auch RoCEv2 unterstützen RDMA. Dadurch kann eine NIC Daten mit minimaler Beteiligung der Host-CPU direkt zwischen registrierten Speicherbereichen auf entfernten Systemen übertragen. Durch die Reduzierung von Datenkopien und der Kernel-Verarbeitung im Datenpfad trägt RDMA dazu bei, den CPU-Overhead zu senken und die Kommunikationseffizienz bei Hochleistungs-Workloads zu verbessern.

Natives InfiniBand bietet eine speziell für Hochleistungsrechnen entwickelte Transport- und Fabric-Architektur. RoCEv2 kann ebenfalls eine hohe RDMA-Leistung über Ethernet liefern. Um auch bei großer Skalierung konsistente Ergebnisse zu erzielen, müssen jedoch Überlastungssteuerung, Warteschlangenverwaltung und Netzwerkkonfiguration sorgfältig berücksichtigt werden.

Vergleich von 200G InfiniBand HDR und 200GbE RoCEv2

Auswahl der richtigen 200G-Verbindung

Die Entscheidung zwischen diesen beiden Technologien erfordert eine umfassende Bewertung Ihrer Anwendungsworkloads, Ihrer vorhandenen Infrastruktur sowie der betrieblichen Fachkenntnisse und des technischen Reifegrads Ihres Teams.

Für große KI- und HPC-Cluster:

Wenn Ihre primäre Workload das Training großer neuronaler Netze auf sehr großen GPU-Clustern umfasst, bei denen die Synchronisationslatenz zwischen den Knoten die Trainingszeit direkt beeinflusst, bietet InfiniBand eine speziell für solche Szenarien entwickelte Netzwerkarchitektur. Sein kreditbasierter Flusssteuerungsmechanismus regelt die Datenübertragung auf der Verbindungsschicht, während ein zentraler Subnet Manager die einheitliche Verwaltung von Netzwerkkonfigurationen und Datenpfaden ermöglicht. In großen Scale-out-Umgebungen tragen die zentrale Subnetzverwaltung und die kreditbasierte Flusssteuerung auf Verbindungsebene von InfiniBand dazu bei, die Netzwerkadministration zu vereinfachen und den Bedarf an komplexen PFC-Konfigurationen und der für Ethernet typischen Feinabstimmung zur Überlastungssteuerung zu reduzieren. Vor der Bereitstellung sollten Sie jedoch prüfen, wie vertraut Ihr Team mit der Verwaltung eines Subnet Managers ist, Ihre vorhandene Switch-Infrastruktur bewerten und die zukünftigen Skalierungsanforderungen Ihres Clusters berücksichtigen.

Für konvergente Rechenzentrumsumgebungen:

Wenn Ihre Infrastruktur vielfältige Workloads unterstützen muss, etwa allgemeine Virtualisierung, containerisierte Microservices und leistungsfähigen Blockspeicher, bietet eine 200GbE-Ethernet-Lösung mit RoCEv2 mehr Flexibilität. Sie lässt sich nahtlos in vorhandene Routing- und Netzwerkvirtualisierungstechnologien für Unternehmen wie BGP und EVPN-VXLAN integrieren. Die Bereitstellung von RoCEv2 erfordert jedoch eine sorgfältige Planung hinsichtlich QoS und Überlastungsmanagement. Sie müssen sicherstellen, dass Ihre Rechenzentrums-Switches ECN-Markierung und PFC unterstützen, und überprüfen, ob sowohl Ihre Netzwerkkarten als auch die übrige Netzwerkinfrastruktur für Überlastungssteuerungsmechanismen wie DCQCN korrekt konfiguriert sind. Darüber hinaus sollte Ihr Betriebsteam klare Konfigurations- und Validierungsstandards festlegen, mit Schwerpunkt auf der Priorisierung des Datenverkehrs, Pufferschwellenwerten und dem Verhalten bei Netzwerküberlastung.

Überlegungen zur DAC- und AOC-Verkabelung

In einem 200G-Rechenzentrumsnetzwerk wird die Wahl zwischen DAC und AOC weitgehend durch die Verbindungsdistanz, die Anforderungen an die Kabelführung und die Plattformkompatibilität bestimmt. Die Konnektivität auf der physikalischen Schicht spielt eine entscheidende Rolle bei der Aufrechterhaltung der Signalintegrität über 200G-Verbindungen.

Passive QSFP56-DAC-Kabel: Da passive DAC-Kabel direkte elektrische Verbindungen anstelle optischer Transceiver und Glasfaserverbindungen verwenden, bieten sie eine einfache und kostengünstige Option für 200G-Verbindungen über kurze Distanzen. Bei der Auslegung von 200G-Verbindungen müssen jedoch weiterhin Kabellänge, Einfügedämpfung, Signalintegrität und plattformspezifische FEC-Anforderungen berücksichtigt werden. In unterstützten Konfigurationen kann ein 200G-QSFP56-Port mithilfe eines kompatiblen Breakout-Kabels in zwei 100G-Verbindungen aufgeteilt werden. Dazu müssen der Quellport, die nachgelagerten Schnittstellen und die Netzwerkgeräte denselben Breakout-Modus und dieselbe Lane-Zuordnung unterstützen.

Aktive optische Kabel (AOCs): Für längere Verbindungen, bei denen die Länge passiver Kupferkabel oder Einschränkungen bei der Kabelführung zum begrenzenden Faktor werden, können aktive optische Kabel eine praktische Alternative bieten. Für InfiniBand-HDR-Bereitstellungen, AOCs sind auch in verschiedenen Längen und Breakout-Konfigurationen erhältlich, einschließlich Optionen von 200G auf zweimal 100G (beachten Sie, dass diese Breakout-Optionen von der jeweiligen Protokoll- und Geräteunterstützung abhängen). Diese Kabelbaugruppen können die Verbindung vereinfachen, wenn eine Kupferverkabelung ungeeignet ist oder längere Kabelstrecken erforderlich sind. Ingenieure sollten dennoch das unterstützte Protokoll, die Reichweite und die Kompatibilität der Endpunkte überprüfen.

Fazit

Die Abstimmung der Netzwerkarchitektur auf die Workload-Anforderungen ist nur ein Teil des Entwurfsprozesses. Ingenieure müssen außerdem die Kabelkompatibilität, die Breakout-Konfigurationen, die Verbindungsreichweite und die Unterstützung durch die Endpunkte überprüfen. Indem Rechenzentrumsteams sowohl das Netzwerkprotokoll als auch die physische Verbindung bewerten, können sie 200G-Infrastrukturen aufbauen, die sich für KI-, HPC- und Unternehmensworkloads zuverlässig skalieren lassen.