Wie funktioniert KI-Rechenzentrumsnetzwerk?

Was ist AI Data Center Networking?

Das KI-Rechenzentrumsnetzwerk bezeichnet die Netzwerkinfrastruktur im Rechenzentrum, die Funktionen der künstlichen Intelligenz (KI) erfüllt. Das Netzwerk, das diese Funktionen erfüllt, erfordert eine höhere Netzwerkskalierbarkeit, hohe Leistung und geringe Latenz als frühere Netzwerke. KI- und Machine-Learning-Workloads (ML) sind anspruchsvoller als normale Netzwerkaufgaben, insbesondere während intensiver KI-Trainingsphasen.

Die schnelle und äußerst effiziente Kommunikation von InfiniBand zwischen Servern und Speichersystemen machte diese Netzwerktechnologie zu einer beliebten proprietären Technologie für High-Performance-Computing (HPC) und KI-Trainingsnetzwerke. Anschließend hat Ethernet als offene alternative Technologielösung im Markt für KI-Rechenzentrumsnetzwerke erheblich an Bedeutung gewonnen und könnte bei zukünftigen Entwicklungen zur dominierenden Technologie werden.

Es gibt mehrere Gründe für den zunehmenden Fokus auf Ethernet in KI-Rechenzentrumsnetzwerken, wobei betriebliche Effizienz und Kostenkontrolle die ersten und offensichtlichsten sind. Auf der technischen Managementseite verfügt Ethernet inzwischen über einen großen Pool von Netzwerkingenieuren, die Netzwerke aufbauen und verwalten können, während Fachwissen zu proprietären InfiniBand-Netzwerken begrenzter ist. Zweitens ist auch die Kostenkontrolle ein wichtiger Grund. Für KI-Rechenzentrumsausrüstung mit den heutigen 400Gb Ethernet, der Gesamtpreis ist erheblich günstiger als bei InfiniBand-Lösungen, InfiniBand-Ausrüstung und Management-Tools werden hauptsächlich über Nvidia bezogen, während Ethernet umfassenden Zugang zu Netzwerkmanagement-Tools bietet.

Wie funktioniert KI-Rechenzentrumsnetzwerk?

Zusätzlich zu der Tatsache, dass GPU-Server in großer Zahl bereitgestellt werden, um den enormen Rechenanforderungen von KI-Rechenzentren gerecht zu werden, und daher die Gesamtkosten steigen, müssen auch die Netzwerkkomponenten von KI-Rechenzentren ihre GPU-Auslastung verbessern, was bedeutet, dass sie effizienter vernetzt werden müssen. Ethernet-Netzwerke sind eine bewährte offene Technologie und eine geeignete Lösung für KI-Rechenzentrumsnetzwerke, die speziell für die Netzwerkanforderungen von KI-Workloads konzipiert werden können. Ihre Netzwerkarchitektur wird durch Staukontrolle, Lastverteilung und geringe Latenz verbessert, wodurch die Job Completion Time (JCT) optimiert wird. Vereinfachtes Management und Automatisierung tragen ebenfalls zur Netzwerkzuverlässigkeit und konsistenten Leistung bei.

Fabric-Design

Das AI Data Center Network kann verschiedene Architekturdesigns verwenden, es wird jedoch empfohlen, eine nicht blockierende Clos-Architektur mit Any-to-any-Konnektivität zu wählen. Dieses Design optimiert das Trainings-Framework, indem es konsistente Netzwerkgeschwindigkeiten von 400 Gbps (möglicherweise steigend auf 800 Gbps) von der NIC zum Leaf und Backbone nutzt. Basierend auf der Größe der GPUs und der Größe des Modells kann eine zweistufige, dreistufige nicht blockierende Struktur oder eine dreistufige, fünfstufige nicht blockierende Struktur implementiert werden.

Flusskontrolle und Überlastungsvermeidung

Neben der Fabric-Kapazität sind weitere Designüberlegungen entscheidend für die Verbesserung der Zuverlässigkeit und Effizienz der gesamten Fabric. Zu diesen Überlegungen gehören angemessen dimensionierte Fabric-Verbindungen mit einer optimalen Anzahl von Links sowie die Fähigkeit, Verkehrsunleichgewichte zu prüfen und zu korrigieren, um Überlastung und Paketverlust zu vermeiden. Explicit Congestion Notification (ECN), Data Center Quantified Congestion Notification (DCQCN) und Priority-Based Flow Control beheben Verkehrsunleichgewichte, um eine verlustfreie Datenübertragung sicherzustellen.

Dynamischer und adaptiver Lastausgleich wird auf Switches eingesetzt, um Datenüberlastungen zu reduzieren. Dynamischer Lastausgleich und lokale Umverteilung des Datenverkehrs am Switch führen zu einer gleichmäßigen Verteilung des Datenverkehrs. Adaptiver Lastausgleich überwacht die Weiterleitung des Datenverkehrs und Next-Transfer-Tabellen, um Ungleichgewichte zu erkennen und den Datenverkehr von überlasteten Pfaden wegzuleiten.

ECN benachrichtigt Anwendungen im Voraus, wenn Datenüberlastung unvermeidbar ist. Während dieser Zeit werden Leafs und Spines mit ECN-fähigen Paketen aktualisiert, um den Sender über die Überlastung zu informieren, sodass der Sender die Übertragung verlangsamen kann, um Paketverluste zu vermeiden. Wenn der Sender nicht umgehend reagiert, ermöglicht Priority-based Flow Control (PFC) Ethernet-Empfängern und -Sendern, Rückmeldungen zur Pufferverfügbarkeit auszutauschen. Schließlich pausieren oder drosseln Leaf- und Spine-Switches während einer Überlastung den Datenverkehr über bestimmte Links, um die Überlastung zu verringern und Paketverluste zu verhindern, wodurch eine verlustfreie Übertragung bestimmter Verkehrsklassen ermöglicht wird.

Skalierung und Leistung

Ethernet-Lösungen haben sich zu den bevorzugten offenen Standards für die Verarbeitung von HPC- und KI-Anwendungen entwickelt. Mit Blick auf die Zukunft (800GbE und Data Center Bridging (DCB)) macht die schnellere, zuverlässigere und skalierbare Natur von Ethernet es geeignet, die Anforderungen geschäftskritischer KI-Anwendungen an hohen Datendurchsatz und geringe Latenz zu bewältigen.

Automatisierung

Automatisierung kann KI-Rechenzentrums-Netzwerklösungen dabei helfen, den letzten Kreislauf effektiv zu schließen; nicht jede Automatisierung ist gleich, und um den Gesamtwert der Netzwerkkapazität zu realisieren, muss Automatisierungssoftware erfahrungsorientierte Abläufe bereitstellen. Sie kann beim Entwerfen, Bereitstellen und Verwalten von KI-Rechenzentren hilfreich sein. Sie ermöglicht ein wiederholbares und kontinuierlich validiertes Design sowie eine entsprechende Bereitstellung von KI-Rechenzentren; zusätzlich zur Beseitigung menschlich verursachter Fehler kann sie auch Telemetrie- und Verkehrsdaten nutzen, um die Leistung zu optimieren, proaktive Fehlerbehebung zu erleichtern und Netzwerkausfälle zu vermeiden.

Warum benötigen Sie KI-Rechenzentrumsnetzwerke, um KI-getriebene Anforderungen zu erfüllen?

Das Netzwerk des KI-Rechenzentrums erfüllt die Anforderungen, die durch generative KI und groß angelegte Deep-Learning-KI-Modelle entstehen. Die Entwicklung von KI-Modellen umfasst drei Phasen:

Phase 1: Datenvorbereitung - Sammeln und Organisieren von Datensätzen für das Training von KI-Modellen.

Phase 2: KI-Training - Trainieren Sie das KI-Modell, indem Sie es großen Datenmengen aussetzen, damit es Muster und Beziehungen lernt, um Intelligenz zu entwickeln.

Phase 3: KI-Inferenz - Anwendung trainierter Modelle auf reale Szenarien, um auf Grundlage neuer, unbekannter Daten Vorhersagen oder Entscheidungen zu treffen.

Während Stufe 3 typischerweise bestehende Rechenzentren und Cloud-Netzwerke nutzt, erfordert Stufe 2 (KI-Training) erhebliche Daten- und Rechenressourcen, um den iterativen Lernprozess zu unterstützen. Grafikprozessoren (GPUs) werden häufig für KI-Lernen und Inferenz verwendet, oft in Cluster-Konfigurationen zur Steigerung der Effizienz. Die Skalierung von Clustern kann jedoch die Kosten erhöhen, was die Bedeutung von KI-Rechenzentrumsnetzwerken hervorhebt, die die Cluster-Effizienz nicht beeinträchtigen.

Das Training großer Modelle erfordert die Verbindung einer großen Anzahl von GPU-Servern, manchmal Zehntausender, zu Kosten von mehr als 400.000 $ pro Server im Jahr 2023. Daher ist die Optimierung der Job-Abschlusszeiten und die Minimierung der Tail-Latenz, bei der anomale AI-Workloads den gesamten Job-Abschluss verlangsamen, entscheidend, um die Rendite der GPU-Investition zu maximieren. In diesem Zusammenhang müssen AI-Rechenzentrumsnetzwerke zuverlässig sein und einen Verlust der Clustereffizienz vermeiden.

FAQs zum AI Data Center Networking 

Welches Problem löst das Netzwerk des KI-Rechenzentrums?

Künstliche Intelligenz hat einen sehr hohen Bedarf an großen Datenmengen und Rechenressourcen, die für generative KI und Deep Learning erforderlich sind, um den iterativen Prozess der Modellentwicklung zu unterstützen, bei dem KI-Modelle aus den Daten, die sie ständig sammeln, lernen und ihre Parameter verbessern. Grafikprozessoren eignen sich gut für KI-Lern- und Inferenz-Workloads, doch neben dem Aufbau von GPU-Clustern müssen große Rechenzentren die Effizienz von KI-Modellen verbessern, wenn sie ihre Cluster skalieren, ein Prozess, der auch die Kosten erhöht. Daher ist es entscheidend, ein Netzwerk von KI-Rechenzentren zu nutzen, das die Cluster-Effizienz nicht beeinträchtigt.

Ethernet vs. InfiniBand: Was ist besser für KI-Rechenzentrumsnetzwerke?

Während InfiniBand, eine proprietäre Technologie, der KI-Technologie einige Fortschritte und Innovationen gebracht hat, ist der Einsatz von InfiniBand-Geräten teuer, lässt sich für einen wettbewerbsorientierten Angebots- und Nachfragemarkt nicht verbilligen und muss mit proprietären Netzwerktechnikern kombiniert werden. Ethernet-Technologie hingegen ist nach IP-Technologie die weltweit am weitesten verbreitete Netzwerktechnologie und kann ebenfalls die Anforderungen von KI-Anwendungen an hohen Datendurchsatz und geringe Latenz erfüllen; mittlerweile sind 800GbE-Instanzen der Ethernet-Technologie mit erweiterten Data-Center-Bridging-(DCB)-Funktionen verfügbar. Für die InfiniBand-Technologie, die hauptsächlich über NVIDIA bereitgestellt wird, kann für Ethernet-Netzwerke eine größere Vielfalt an Verwaltungstools verwendet werden als für die InfiniBand-Technologie. Zusammenfassend werden Ethernet-Fabrics ideal für hochpriorisierten und geschäftskritischen KI-Datenverkehr.