Che cos'è InfiniBand XDR e perché è importante nella rete AI

InfiniBand XDR è una soluzione cruciale introdotta a causa della scala in continua espansione dei cluster di addestramento AI e del rapido aumento dello scambio di dati tra GPU. Per le grandi piattaforme di addestramento con decine di migliaia di GPU, la rete non è più solo un sistema ausiliario, ma un'infrastruttura critica che influisce sull'efficienza dell'addestramento. In questo contesto, la continua evoluzione della tecnologia InfiniBand verso una larghezza di banda più elevata è diventata una tendenza, e InfiniBand XDR è precisamente la tecnologia che risponde alla prossima fase dei requisiti delle reti AI.

Che cos'è InfiniBand XDR

InfiniBand XDR è la classe di velocità più recente nella roadmap della tecnologia InfiniBand, promossa da NVIDIA, destinata principalmente alle piattaforme di calcolo AI di nuova generazione e agli ambienti di calcolo ad alte prestazioni. Rispetto alla velocità della porta di 400Gbps della generazione precedente NDR, XDR aumenta la larghezza di banda per singola porta a 800Gbps, ottenendo un aumento significativo della capacità di rete.

Dal punto di vista tecnico, XDR mantiene i vantaggi fondamentali di InfiniBand in termini di bassa latenza, alta throughput e RDMA, combinando al contempo SerDes ad alta velocità di nuova generazione, chip di switching e tecnologia di interconnessione ottica per fornire capacità di supporto di rete più solide per cluster GPU su scala ultra-large.

In parole semplici, XDR non riguarda solo il raddoppio della velocità; è una piattaforma di interconnessione di nuova generazione progettata per soddisfare le future esigenze di scalabilità dei cluster di IA.

Perché l'addestramento dell'IA richiede reti 800G o 1.6T

Nelle reti aziendali tradizionali, la maggior parte del traffico è traffico nord-sud generato dagli utenti che accedono ai server. Gli ambienti di addestramento AI sono completamente diversi; il loro traffico principale avviene principalmente tra server, cioè traffico est-ovest.

Durante l'addestramento di modelli di grandi dimensioni, numerose GPU devono scambiare frequentemente gradienti, parametri del modello e risultati di calcolo intermedi. Ad esempio, l'operazione All-Reduce, comune nell'addestramento distribuito, genera requisiti significativi di comunicazione tra nodi.

Man mano che le dimensioni dei modelli crescono da miliardi di parametri a centinaia di miliardi o persino trilioni di parametri, aumenta anche il volume della comunicazione di rete. Se la rete non riesce a sincronizzare i dati tempestivamente, le GPU possono solo attendere il completamento della trasmissione dei dati, riducendo così l'utilizzo complessivo.

Pertanto, nei moderni cluster AI, le prestazioni di rete sono importanti quanto le prestazioni della GPU.

Come InfiniBand XDR aumenta l'efficienza dei cluster AI

Innanzitutto, c'è l'aumento della larghezza di banda. A 1.6T XDR il link può trasmettere più dati di training nella stessa quantità di tempo, riducendo la latenza di sincronizzazione nel training distribuito e migliorando l'utilizzo della GPU.

In secondo luogo, c'è una migliore scalabilità. Man mano che i cluster IA crescono, aumenta anche il numero di porte switch e di livelli di rete. Velocità delle porte più elevate significano che è possibile utilizzare meno collegamenti per ottenere la stessa larghezza di banda, semplificando la progettazione dell'architettura di rete.

Inoltre, una maggiore larghezza di banda allevia il traffico hotspot e i problemi di congestione. Quando migliaia di nodi GPU scambiano dati simultaneamente, la rete può fornire risorse di trasmissione più ampie, riducendo le fluttuazioni delle prestazioni.

Per l'addestramento di modelli linguistici di grandi dimensioni, modelli multimodali e attività di calcolo scientifico, questi vantaggi si traducono direttamente in una maggiore efficienza di addestramento.

Reti AI InfiniBand XDR ed Ethernet 

Negli ultimi anni, le soluzioni Ethernet basate su RoCEv2 si sono sviluppate rapidamente, con Ethernet 400G e 800G ampiamente adottate nel mercato dei data center per l'AI. Tuttavia, InfiniBand mantiene ancora un vantaggio significativo negli scenari di addestramento su scala ultra-grande.

Innanzitutto, InfiniBand è stato progettato fin dall'inizio per ambienti di calcolo ad alte prestazioni, e il suo meccanismo RDMA, il controllo della congestione e le capacità di comunicazione aggregata sono stati convalidati per un lungo periodo.

In secondo luogo, NVIDIA ha costruito un ecosistema InfiniBand completo, che include switch Quantum, schede di rete ConnectX e lo stack software CUDA. Questi componenti lavorano insieme per ottimizzare le prestazioni dell'addestramento AI.

Per le piattaforme AI che cercano prestazioni massime e latenza di comunicazione minima, InfiniBand rimane la soluzione preferita per molti centri di supercalcolo e grandi cluster di addestramento AI.

InfiniBand XDR promuove aggiornamenti negli interconnettori ottici ad alta velocità

Con la graduale implementazione delle reti XDR, anche le architetture di interconnessione ottica dei data center saranno aggiornate di conseguenza. I collegamenti da 800Gbps richiedono switch e moduli ottici con prestazioni più elevate. Moduli ottici ad alta velocità attualmente disponibili, come 800G OSFP, 800G OSFP SR8, 800G DR8 e 800G 2x FR4, stanno gradualmente diventando componenti importanti nella costruzione di reti XDR.

Allo stesso tempo, anche il cablaggio in fibra ottica, la progettazione dei rack e i sistemi di raffreddamento devono adattarsi ai requisiti di implementazione di maggiore densità e maggiore larghezza di banda. È prevedibile che gli aggiornamenti di rete nei data center IA nei prossimi anni ruoteranno in larga misura attorno all'ecosistema di interconnessione 800G.

Conclusione

Poiché le dimensioni dei modelli di IA continuano a crescere, le reti sono diventate un fattore cruciale nel determinare l'efficienza dell'addestramento. In quanto ultima generazione della tecnologia InfiniBand, XDR offre una piattaforma di interconnessione più efficiente per i futuri cluster GPU hyperscale grazie alla sua larghezza di banda di 800G e 1.6T, all'architettura a bassa latenza e all'eccellente scalabilità. Nella continua evoluzione dell'infrastruttura IA, XDR dovrebbe diventare una delle tecnologie chiave che guidano lo sviluppo dei centri di calcolo intelligente di nuova generazione.