ConnectX-7 vs ConnectX-8: confronto tra 400G e 800G per cluster AI

NVIDIA ConnectX-7 e ConnectX-8 si concentrano sulle reti ad alta velocità per ambienti AI, HPC e data center, ma mirano a fasi diverse dell'evoluzione della rete. ConnectX-7 è associato alla connettività 400G NDR e 400GbE, mentre ConnectX-8 estende la piattaforma a 800Gb/s XDR InfiniBand e a configurazioni 400GbE flessibili. Le sole velocità delle porte non raccontano tutta la storia. Anche la connettività PCIe, il protocollo di rete, il formato del ricetrasmettitore e i requisiti del carico di lavoro determinano quale generazione sia più adatta a un cluster AI.

Cosa sono NVIDIA ConnectX-7 e ConnectX-8? 

Che cos'è NVIDIA ConnectX-7 Smart NIC? 

NVIDIA ConnectX-7 è un adattatore di rete ad alta velocità progettato per ambienti InfiniBand ed Ethernet. ConnectX-7 è disponibile in diverse configurazioni di adattatori, inclusi i modelli a porta singola da 400Gb/s con interfacce OSFP o QSFP112, a seconda dell'adattatore specifico. La documentazione NVIDIA elenca configurazioni a porta singola che supportano NDR 400Gb/s e 400GbE, nonché altre configurazioni a velocità inferiori. 

ConnectX-7 supporta inoltre PCIe Gen5 x16, fornendo l'interfaccia host necessaria per trasferimenti di dati ad alta velocità tra l'adattatore di rete e il server. Le sue capacità lo rendono adatto all'addestramento dell'IA, all'HPC, alle infrastrutture cloud e ad altri carichi di lavoro in cui sono importanti bassa latenza e throughput elevato.

Che cos'è NVIDIA CX8?

NVIDIA ConnectX-8 è la prossima generazione della piattaforma ConnectX ed è posizionata per reti AI e data center a larghezza di banda superiore. NVIDIA descrive i ConnectX-8 SuperNIC come in grado di supportare fino a 800Gb/s di larghezza di banda di rete totale.

Il C8180, ad esempio, può funzionare con una porta InfiniBand XDR a 800Gb/s oppure essere configurato come due porte 400GbE. Questa distinzione è importante: 800Gb/s XDR InfiniBand e 2×400GbE sono configurazioni supportate, non una singola porta Ethernet 800GbE. ConnectX-8 supporta la connettività PCIe Gen6 ed è retrocompatibile con PCIe Gen5.

ConnectX-7 vs. ConnectX-8: quali sono le differenze principali?

La differenza più evidente tra le due generazioni riguarda la larghezza di banda della rete, ma l'aggiornamento coinvolge anche l'interfaccia host sottostante e l'architettura di rete.

Larghezza di banda di rete 400G rispetto a 800G

ConnectX-7 è particolarmente adatto alle architetture di rete 400G. Un adattatore ConnectX-7 a porta singola può supportare 400GbE o NDR 400Gb/s,, a seconda del modello e della configurazione. ConnectX-8 innalza il limite a 800Gb/s nella sua configurazione XDR InfiniBand. NVIDIA C8180 può anche essere configurato come due porte 400GbE, offrendo flessibilità per diverse architetture di rete.

Per i carichi di lavoro AI, il passaggio da 400G a 800G può fornire fino al doppio della larghezza di banda di rete per porta per le comunicazioni tra GPU. Con l'aumento del numero di GPU e la generazione di una maggiore quantità di traffico east-west attraverso i nodi di elaborazione da parte dell'addestramento distribuito, questo caso d'uso diventa sempre più rilevante.

NDR vs. XDR InfiniBand

ConnectX-7 supporta InfiniBand NDR 400Gb/s, utilizzando quattro corsie da 100Gb/s. ConnectX-8 aggiunge InfiniBand XDR 800Gb/s, utilizzando quattro corsie da 200Gb/s. Questa velocità più elevata per corsia è uno dei motivi fondamentali per cui ConnectX-8 può fornire connettività XDR a 800Gb/s. Per i grandi cluster di addestramento IA, una larghezza di banda maggiore può contribuire a ridurre i vincoli di rete durante i carichi di lavoro distribuiti intensivi.

PCIe Gen5 contro Gen6

ConnectX-7 utilizza PCIe Gen5 x16 nelle configurazioni di adattatori ad alta velocità supportate. ConnectX-8 supporta PCIe Gen6 x16 ed è inoltre retrocompatibile con PCIe Gen5. L'interfaccia host è importante perché una NIC ad alta velocità necessita di una larghezza di banda sufficiente tra l'adattatore e il server. L'aggiornamento a un'interfaccia di rete 800Gb/s deve quindi essere valutato insieme alla piattaforma server, alla configurazione PCIe, all'architettura GPU e alla progettazione complessiva del sistema.

Come supporta ConnectX-8 i cluster di IA a 800G?

NVIDIA ConnectX-8 e networking AI a 800G

Il vantaggio principale di ConnectX-8 per l'infrastruttura AI di nuova generazione è la capacità di supportare una larghezza di banda di rete maggiore offrendo al contempo configurazioni di porta flessibili. Il C8180 supporta una configurazione 800Gb/s XDR InfiniBand e può anche essere configurato con due porte 400GbE. Ciò rende ConnectX-8 particolarmente rilevante per i cluster di intelligenza artificiale, dove il traffico di rete tra GPU e server può diventare un fattore limitante. Le reti a velocità più elevata possono fornire una maggiore larghezza di banda per porta ad alta velocità, contribuendo a semplificare il ridimensionamento della rete in alcune architetture di cluster.

ConnectX-8 per il training AI su larga scala

L'addestramento AI su larga scala si basa in larga misura sulla comunicazione tra GPU. Operazioni come la sincronizzazione dei gradienti e la comunicazione collettiva possono generare un traffico di rete sostanziale in un cluster distribuito.

Con il continuo aumento delle prestazioni delle GPU, la larghezza di banda di rete può diventare un fattore sempre più importante nei cluster IA su larga scala. ConnectX-8 è progettato per questo ambiente e offre connettività XDR a 800Gb/s, PCIe Gen6 e funzionalità di rete pensate per migliorare le prestazioni dei cluster IA.

Ciò non significa che ogni cluster di IA necessiti di 800G. Il vantaggio effettivo dipende dal numero di GPU, dal carico di lavoro, dalla topologia di rete e dal fatto che la rete esistente si stia già avvicinando ai limiti della propria larghezza di banda.

Quando ConnectX-7 è ancora sufficiente per i cluster di IA?  

Per molte reti AI e HPC 400G, ConnectX-7 rimane un'opzione praticabile. Per i cluster che stanno già implementando 400G NDR o 400GbE, e in cui i carichi di lavoro non saturano tale capacità, il passaggio a ConnectX-8 potrebbe non fornire sufficiente valore aggiuntivo da giustificare un aggiornamento completo dell'infrastruttura.

Può essere una scelta sensata anche quando la piattaforma server, gli switch, i componenti ottici o il cablaggio sono progettati per 400G. In queste situazioni, ConnectX-7 può fornire la larghezza di banda richiesta senza introdurre i requisiti aggiuntivi associati a un'implementazione 800G.

Quali ricetrasmettitori e cavi sono compatibili con ConnectX-7 e ConnectX-8?

Transceiver e cavi 400G per ConnectX-7   

Le configurazioni ConnectX-7 ad alta velocità possono utilizzare QSFP112 o OSFP, a seconda del modello dell'adattatore. Ad esempio, NVIDIA documenta adattatori ConnectX-7 con configurazioni QSFP112 a porta singola e OSFP a porta singola, che supportano la connettività 400Gb/s. A seconda della progettazione della rete, è possibile utilizzare ricetrasmettitori ottici 400G, DAC, AOC e cablaggi in fibra per collegare la NIC a switch compatibili.

Ricetrasmettitori e cavi 800G per ConnectX-8

I modelli C8180 utilizzano un singolo alloggiamento di rete OSFP per la configurazione 800Gb/s, mentre i modelli C8240 utilizzano doppie porte QSFP112, ciascuna delle quali supporta fino a 400GbE.  Pertanto, una distribuzione 800G deve considerare non solo la velocità ottica, ma anche l'interfaccia fisica e il modello specifico ConnectX-8. I moduli ottici 800G compatibili, i DAC, gli AOC e l'infrastruttura in fibra devono essere selezionati in base alla NIC, allo switch, alla distanza e al protocollo di rete.

Considerazioni sulla compatibilità tra ConnectX-7 e ConnectX-8

La velocità non è l'unico aspetto da considerare. Quando si seleziona un ricetrasmettitore o un cavo, è necessario verificare il modello della NIC, il tipo di porta, il protocollo supportato, la lunghezza d'onda ottica, la velocità dati, la distanza di trasmissione, il tipo di connettore e l'interfaccia sul lato dello switch. Ad esempio, non si dovrebbe presumere automaticamente che una soluzione OSFP da 800G destinata a un ConnectX-8 C8180 funzioni con tutti gli adattatori ConnectX-8 o ConnectX-7. NVIDIA elenca interfacce e configurazioni diverse per i vari modelli di adattatore.

ConnectX-7 vs. ConnectX-8: quale scegliere?  

Scegli ConnectX-7 per reti 400G AI e HPC

ConnectX-7 è una scelta efficace quando l'architettura di rete è incentrata su 400G. È adatto alle reti NDR esistenti, agli ambienti 400GbE e ai cluster AI o HPC i cui carichi di lavoro possono essere gestiti efficacemente con la connettività 400Gb/s.

Può anche essere l'opzione più pratica quando l'aggiornamento della rete richiederebbe altrimenti la sostituzione di switch, ricetrasmettitori, cavi e piattaforme server.

Scegli ConnectX-8 per cluster AI 800G

ConnectX-8 è più adatto alle nuove infrastrutture di intelligenza artificiale ad alta larghezza di banda che possono sfruttare la connettività 800Gb/s XDR. È particolarmente rilevante per gli ambienti di addestramento dell'intelligenza artificiale su larga scala, dove si prevede che il traffico di rete tra GPU e server aumenti significativamente. Tuttavia, la decisione dovrebbe basarsi sull'intera architettura di rete anziché sulla sola larghezza di banda della NIC. Server, switch, interfacce PCIe, ricetrasmettitori e cablaggio devono tutti supportare la configurazione pianificata.

Conclusione

ConnectX-7 e ConnectX-8 rappresentano fasi diverse del networking ad alta velocità per cluster AI e HPC. ConnectX-7 scala fino alla connettività 400Gb/s e si adatta bene a molte implementazioni 400G esistenti. ConnectX-8 estende la piattaforma a 800Gb/s XDR InfiniBand, con supporto PCIe Gen6 e configurazioni di porte flessibili per l'infrastruttura AI di nuova generazione.

Per una rete 400G consolidata, ConnectX-7 può ancora offrire il giusto equilibrio tra prestazioni e requisiti dell'infrastruttura. Per un nuovo cluster AI su larga scala progettato attorno al networking 800G, ConnectX-8 offre un percorso verso una maggiore capacità di rete. In entrambi i casi, la NIC dovrebbe essere selezionata insieme agli switch, ai ricetrasmettitori, ai cavi e alle interfacce server appropriati.