ConnectX-7 vs. ConnectX-8: Vergleich von 400G und 800G für KI-Cluster

NVIDIA ConnectX-7 und ConnectX-8 konzentrieren sich auf Hochgeschwindigkeitsnetzwerke für KI-, HPC- und Rechenzentrumsumgebungen, zielen jedoch auf unterschiedliche Phasen der Netzwerkentwicklung ab. ConnectX-7 wird mit 400G-NDR- und 400GbE-Konnektivität in Verbindung gebracht, während ConnectX-8 die Plattform auf 800Gb/s XDR InfiniBand und flexible 400GbE-Konfigurationen erweitert. Die Portgeschwindigkeiten allein erzählen nicht die ganze Geschichte. Auch PCIe-Konnektivität, Netzwerkprotokoll, Transceiver-Formfaktor und die Anforderungen der Arbeitslast bestimmen, mit welcher Generation ein KI-Cluster sinnvoller betrieben werden kann.

Was sind NVIDIA ConnectX-7 und ConnectX-8? 

Was ist die intelligente NVIDIA-ConnectX-7-Netzwerkkarte? 

NVIDIA ConnectX-7 ist ein Hochgeschwindigkeits-Netzwerkadapter, der für InfiniBand- und Ethernet-Umgebungen entwickelt wurde. ConnectX-7 ist in verschiedenen Adapterkonfigurationen erhältlich, darunter Single-Port-400Gb/s-Modelle mit OSFP- oder QSFP112-Schnittstellen, abhängig vom jeweiligen Adapter. Die NVIDIA-Dokumentation führt Single-Port-Konfigurationen auf, die NDR 400Gb/s und 400GbE unterstützen, sowie weitere Konfigurationen mit niedrigeren Geschwindigkeiten. 

ConnectX-7 unterstützt außerdem PCIe Gen5 x16 und bietet damit die erforderliche Host-Schnittstelle für schnelle Datenübertragungen zwischen dem Netzwerkadapter und dem Server. Aufgrund seiner Leistungsmerkmale eignet es sich für KI-Training, HPC, Cloud-Infrastrukturen und andere Workloads, bei denen geringe Latenz und hoher Durchsatz wichtig sind.

Was ist NVIDIA CX8?

NVIDIA ConnectX-8 ist die nächste Generation der ConnectX-Plattform und auf Netzwerke mit höherer Bandbreite für KI und Rechenzentren ausgelegt. Laut NVIDIA unterstützen ConnectX-8-SuperNICs eine gesamte Netzwerkbandbreite von bis zu 800Gb/s.

Der C8180 kann beispielsweise mit einem InfiniBand-XDR-Port bei 800Gb/s betrieben oder als zwei 400GbE-Ports konfiguriert werden. Dieser Unterschied ist wichtig: 800Gb/s XDR InfiniBand und 2×400GbE sind unterstützte Konfigurationen und kein einzelner 800GbE-Ethernet-Port. ConnectX-8 unterstützt PCIe-Gen6-Konnektivität und ist abwärtskompatibel mit PCIe Gen5.

ConnectX-7 vs. ConnectX-8: Was sind die wichtigsten Unterschiede?

Der sichtbarste Unterschied zwischen den beiden Generationen ist die Netzwerkbandbreite, aber das Upgrade umfasst auch die zugrunde liegende Host-Schnittstelle und Netzwerkarchitektur.

400G- gegenüber 800G-Netzwerkbandbreite

ConnectX-7 eignet sich hervorragend für 400G-Netzwerkarchitekturen. Ein Single-Port-ConnectX-7-Adapter kann je nach Modell und Konfiguration 400GbE oder NDR 400Gb/s, unterstützen. ConnectX-8 erhöht die Obergrenze auf 800Gb/s in seiner XDR-InfiniBand-Konfiguration. NVIDIA's C8180 kann auch als zwei 400GbE-Ports konfiguriert werden und bietet damit Flexibilität für verschiedene Netzwerkarchitekturen.

Bei KI-Workloads kann der Wechsel von 400G zu 800G bis zu die doppelte Netzwerkbandbreite pro Port für die GPU-Kommunikation bereitstellen. Mit steigender Anzahl der GPUs und zunehmendem East-West-Datenverkehr durch Rechenknoten infolge des verteilten Trainings wird dies zu einem immer relevanteren Anwendungsfall.

NDR vs. XDR InfiniBand

ConnectX-7 unterstützt NDR 400Gb/s InfiniBand mit vier 100Gb/s-Lanes. ConnectX-8 ergänzt XDR 800Gb/s InfiniBand mit vier 200Gb/s-Lanes. Diese höhere Rate pro Lane ist einer der grundlegenden Gründe, warum ConnectX-8 eine 800Gb/s XDR-Konnektivität bereitstellen kann. Für große KI-Trainingscluster kann eine höhere Bandbreite dazu beitragen, Netzwerkengpässe während intensiver verteilter Workloads zu reduzieren.

PCIe Gen5 vs. Gen6

ConnectX-7 verwendet PCIe Gen5 x16 bei unterstützten Hochgeschwindigkeitsadapterkonfigurationen. ConnectX-8 unterstützt PCIe Gen6 x16 und ist außerdem abwärtskompatibel mit PCIe Gen5. Die Host-Schnittstelle ist wichtig, da eine Hochgeschwindigkeits-NIC eine ausreichende Bandbreite zwischen Adapter und Server benötigt. Ein Upgrade auf eine 800Gb/s-Netzwerkschnittstelle muss daher zusammen mit der Serverplattform, der PCIe-Konfiguration, der GPU-Architektur und dem Gesamtsystemdesign betrachtet werden.

Wie unterstützt ConnectX-8 800G-KI-Cluster?

NVIDIA ConnectX-8 und 800G-KI-Netzwerke

Der Hauptvorteil von ConnectX-8 für die KI-Infrastruktur der nächsten Generation ist die Fähigkeit, eine höhere Netzwerkbandbreite zu unterstützen und gleichzeitig flexible Portkonfigurationen bereitzustellen. Der C8180 unterstützt eine 800Gb/s XDR-InfiniBand-Konfiguration und kann auch für zwei 400GbE-Ports konfiguriert werden. Dadurch ist ConnectX-8 besonders relevant für KI-Cluster, in denen der Netzwerkverkehr zwischen GPUs und Servern zu einem begrenzenden Faktor werden kann. Netzwerke mit höherer Geschwindigkeit können mehr Bandbreite pro Hochgeschwindigkeitsanschluss bereitstellen, was die Netzwerkskalierung in einigen Clusterarchitekturen vereinfachen kann.

ConnectX-8 für groß angelegtes KI-Training

Das Training großer KI-Modelle ist in hohem Maße auf die Kommunikation zwischen GPUs angewiesen. Vorgänge wie die Gradientensynchronisierung und die kollektive Kommunikation können in einem verteilten Cluster erheblichen Netzwerkverkehr erzeugen.

Da die GPU-Leistung weiter zunimmt, kann die Netzwerkbandbreite in groß angelegten KI-Clustern zu einem immer wichtigeren Faktor werden. ConnectX-8 wurde für diese Umgebung entwickelt und bietet 800Gb/s XDR-Konnektivität, PCIe Gen6 und Netzwerkfunktionen zur Verbesserung der Leistung von KI-Clustern.

Das bedeutet nicht, dass jeder KI-Cluster 800G benötigt. Der tatsächliche Nutzen hängt von der Anzahl der GPUs, der Arbeitslast, der Netzwerktopologie und davon ab, ob das bestehende Netzwerk bereits seine Bandbreitengrenzen erreicht.

Wann ist ConnectX-7 für KI-Cluster noch ausreichend?  

Für viele 400G-KI- und HPC-Netzwerke bleibt ConnectX-7 eine geeignete Option. Bei Clustern, die bereits 400G NDR oder 400GbE einsetzen und deren Workloads diese Kapazität nicht auslasten, bietet der Wechsel zu ConnectX-8 möglicherweise nicht genügend zusätzlichen Nutzen, um eine vollständige Erneuerung der Infrastruktur zu rechtfertigen.

Dies kann auch sinnvoll sein, wenn die Serverplattform, Switches, Optiken oder Verkabelung für 400G ausgelegt sind. In diesen Situationen kann ConnectX-7 die erforderliche Bandbreite bereitstellen, ohne die zusätzlichen Anforderungen einzuführen, die mit einer 800G-Bereitstellung verbunden sind.

Welche Transceiver und Kabel funktionieren mit ConnectX-7 und ConnectX-8?

400G-Transceiver und -Kabel für ConnectX-7   

Hochgeschwindigkeitskonfigurationen mit ConnectX-7 können QSFP112 oder OSFP verwenden, abhängig vom Adaptermodell. NVIDIA dokumentiert beispielsweise ConnectX-7-Adapter mit Single-Port-QSFP112- und Single-Port-OSFP-Konfigurationen, die eine 400Gb/s-Konnektivität unterstützen. Je nach Netzwerkdesign können 400G-optische Transceiver, DACs, AOCs und Glasfaserverkabelung verwendet werden, um die NIC mit kompatiblen Switches zu verbinden.

800G-Transceiver und -Kabel für ConnectX-8

ConnectX-8-C8180-Modelle verwenden für ihre 800Gb/s-Konfiguration einen einzelnen OSFP-Netzwerkanschluss, während C8240-Modelle über zwei QSFP112-Ports verfügen, wobei jeder Port bis zu 400GbE.  unterstützt. Daher muss eine 800G-Bereitstellung nicht nur die optische Geschwindigkeit, sondern auch die physische Schnittstelle und das spezifische ConnectX-8-Modell berücksichtigen. Kompatible optische 800G-Module, DACs, AOCs und Glasfaserinfrastruktur sollten entsprechend NIC, Switch, Entfernung und Netzwerkprotokoll ausgewählt werden.

Überlegungen zur Kompatibilität von ConnectX-7 und ConnectX-8

Geschwindigkeit ist nicht der einzige Gesichtspunkt. Bei der Auswahl eines Transceivers oder Kabels sollten Sie das NIC-Modell, den Porttyp, das unterstützte Protokoll, die optische Wellenlänge, die Datenrate, die Übertragungsdistanz, den Steckertyp und die Schnittstelle auf der Switch-Seite überprüfen. Beispielsweise sollte eine 800G-OSFP-Lösung für einen ConnectX-8 C8180 nicht automatisch als mit jedem ConnectX-8- oder ConnectX-7-Adapter kompatibel angenommen werden. NVIDIA führt für seine Adaptermodelle unterschiedliche Schnittstellen und Konfigurationen auf.

ConnectX-7 vs. ConnectX-8: Welches Modell sollten Sie wählen?  

ConnectX-7 für 400G-KI- und HPC-Netzwerke wählen

ConnectX-7 ist eine gute Wahl, wenn die Netzwerkarchitektur auf 400G ausgerichtet ist. Es eignet sich für bestehende NDR-Netzwerke, 400GbE-Umgebungen sowie AI- oder HPC-Cluster, deren Workloads effektiv mit 400Gb/s-Konnektivität verarbeitet werden können.

Es kann auch die praktischere Option sein, wenn ein Upgrade des Netzwerks andernfalls den Austausch von Switches, Transceivern, Kabeln und Serverplattformen erfordern würde.

Wählen Sie ConnectX-8 für 800G-KI-Cluster

ConnectX-8 eignet sich besser für neue, bandbreitenintensive KI-Infrastrukturen, die 800Gb/s-XDR-Konnektivität nutzen können. Es ist besonders relevant für groß angelegte KI-Trainingsumgebungen, in denen ein deutlich zunehmender Netzwerkverkehr zwischen GPUs und Servern erwartet wird. Die Entscheidung sollte jedoch auf der gesamten Netzwerkarchitektur basieren und nicht allein auf der NIC-Bandbreite. Server, Switches, PCIe-Schnittstellen, Transceiver und Verkabelung müssen alle die geplante Konfiguration unterstützen.

Fazit

ConnectX-7 und ConnectX-8 repräsentieren unterschiedliche Entwicklungsstufen der Hochgeschwindigkeitsvernetzung für KI- und HPC-Cluster. ConnectX-7 skaliert auf 400Gb/s Konnektivität und eignet sich gut für viele bestehende 400G-Bereitstellungen. ConnectX-8 erweitert die Plattform auf 800Gb/s XDR InfiniBand, mit Unterstützung für PCIe Gen6 und flexiblen Portkonfigurationen für KI-Infrastrukturen der nächsten Generation.

Für ein etabliertes 400G-Netzwerk kann ConnectX-7 weiterhin das richtige Gleichgewicht zwischen Leistung und Infrastrukturanforderungen bieten. Für einen neuen groß angelegten KI-Cluster, der auf 800G-Netzwerken basiert, bietet ConnectX-8 einen Weg zu höherer Netzwerkkapazität. In beiden Fällen sollte die NIC zusammen mit den passenden Switches, Transceivern, Kabeln und Serverschnittstellen ausgewählt werden.