Le interconnessioni in rame non sono scalabili per i data center di IA

I carichi di lavoro AI stanno cambiando le reti dei data center, rendendo più importanti una maggiore larghezza di banda e una maggiore scalabilità. Poiché le velocità continuano ad aumentare, le interconnessioni in rame stanno raggiungendo i loro limiti negli ambienti AI su larga scala.

I data center per l'AI stanno ridefinendo l'infrastruttura di rete

Il passaggio dal traffico dati tradizionale ai carichi di lavoro AI 

Il traffico tradizionale dei data center supporta principalmente applicazioni come servizi cloud, database e piattaforme web. Questi carichi di lavoro di solito comportano una comunicazione prevedibile tra server e storage. I carichi di lavoro AI sono diversi. L'addestramento di grandi modelli AI richiede a migliaia di GPU di scambiare continuamente enormi quantità di dati, rendendo le reti ad alta velocità e bassa latenza fondamentali per le prestazioni. Man mano che i modelli di IA diventano più grandi, i data center si stanno orientando verso connessioni più veloci come 800G e 1.6T per ridurre i colli di bottiglia nella comunicazione e massimizzare l'utilizzo della GPU.

Perché l'architettura scale-out cambia tutto? 

I moderni data center per l'AI si basano su architetture scale-out, collegando migliaia di GPU e server in un unico sistema di calcolo. In questo modello, la rete svolge un ruolo fondamentale nel consentire una comunicazione efficiente tra le risorse di calcolo.

Tuttavia, i cluster AI più grandi richiedono più connessioni e una larghezza di banda maggiore. Le soluzioni tradizionali di interconnessione in rame che funzionavano per ambienti più piccoli stanno diventando più difficili da scalare. Questo cambiamento sta spingendo i data center ad adottare tecnologie di connettività avanzate in grado di supportare una densità maggiore e carichi di lavoro AI più ampi.

Perché il cablaggio in rame è oggetto di una nuova valutazione? 

L'addestramento dei modelli di IA non è più gestito da una singola GPU. Invece, migliaia di GPU devono lavorare insieme come un sistema di calcolo distribuito, scambiando costantemente enormi quantità di dati. Durante l'addestramento, le GPU devono assicurarsi che i loro risultati intermedi siano sincronizzati. Anche piccoli ritardi nella comunicazione possono ridurre la quota di utilizzo della GPU e influire sull'efficacia complessiva dell'addestramento. Man mano che i modelli di IA diventano più potenti, la quantità di dati che utilizzano sta raggiungendo il livello dei Tbps, mettendo sotto pressione i tradizionali cavi in rame. La sfida non è più solo la potenza di calcolo — ma l'efficienza con cui i dati possono spostarsi tra GPU. Con l'espansione dei cluster AI da centinaia a migliaia di acceleratori, la connettività è diventata un fattore critico che limita la scalabilità.

Limitazioni fisiche del cablaggio in rame nelle reti ad alta velocità 

Attenuazione del segnale

I segnali elettrici perdono gradualmente intensità: più lunga è la distanza di trasmissione, più il segnale diventa debole, rendendo più difficile mantenere una trasmissione dei dati affidabile.

Man mano che le velocità di rete continuano ad aumentare, la potenza del segnale diventa una sfida maggiore. Velocità più elevate significano frequenze più alte, che perdono più potenza del segnale sulla distanza. Questo rende più difficile usare connessioni in rame in grandi data center AI.

Diafonia

La diafonia rappresenta una sfida nascosta per il cablaggio in rame. Quando un gran numero di fili di rame è densamente concentrato, i segnali elettrici interferiscono tra loro. Poiché i data center per l'IA continuano a crescere e richiedono un numero sempre maggiore di connessioni ad alta velocità all'interno dei rack, il problema della diafonia diventa ancora più marcato.

Interferenza elettromagnetica

I cavi in rame trasmettono i dati tramite segnali elettrici. Questo li rende vulnerabili alle interferenze elettromagnetiche (EMI) provenienti da dispositivi elettronici vicini, cavi di alimentazione e altre connessioni di rete. Nei data center con molti dati AI, migliaia di connessioni ad alta velocità funzionano contemporaneamente. Questo può aumentare il potenziale impatto delle EMI.

Consumo energetico

Nell'era dell'infrastruttura IA, in cui le singole GPU possono già consumare più di 1.000 watt, gli operatori dei data center sono sottoposti a una pressione crescente per ottimizzare ogni parte del budget energetico. Allocare energia aggiuntiva alla trasmissione in rame ad alta velocità sta diventando meno interessante, soprattutto con la continua crescita della scala della rete.

Densità dei cavi e sfide termiche 

I cavi in rame ad alta velocità sono più spessi e pesanti dei cavi in fibra ottica. Questo li rende difficili da utilizzare nei data center AI su larga scala, dove spazio e flusso d'aria sono critici.

Man mano che i cluster AI continuano a crescere, il numero di connessioni di rete all'interno di ciascun rack aumenta notevolmente. Un cablaggio in rame denso può rendere più difficile la gestione dei cavi, occupare più spazio nel rack e limitare il flusso d'aria, rendendo più difficile gestire il calore.

Il ruolo continuo del rame nei data center per l'IA

Rame nella connettività intra-rack

Nonostante la crescente adozione di soluzioni ottiche, il rame svolge ancora un ruolo importante nelle connessioni a breve distanza dei data center AI. All’interno di un rack, dove le distanze sono solitamente limitate a pochi metri, i cavi in rame come i DAC possono fornire connettività ad alta velocità tra server, GPU e switch con costi inferiori e una distribuzione più semplice.

Efficienza dei costi negli scenari a breve distanza  

Il rame è ancora l'opzione più economica per le applicazioni a corto raggio. I cavi in rame hanno una struttura semplice e non richiedono componenti ottici, il che li rende adatti ad applicazioni che non richiedono trasmissioni a lunga distanza rispetto ai moduli ottici.

Il rame come ottimizzazione locale piuttosto che come soluzione scalabile

Ma il rame non è un'opzione permanente per enormi reti AI. Con l'aumento dei requisiti di larghezza di banda, la perdita di segnale, il consumo energetico e la portata limitata rappresentano problemi di finanziamento. Pertanto il rame rimarrà un'ottimizzazione locale per connessioni brevi e la fibra ottica sarà l'infrastruttura scalabile dei data center AI.

Come la fibra ottica risolve i limiti di scalabilità del rame

La bassa perdita di segnale consente la connettività a lunga distanza

Una delle cose migliori della fibra ottica è che può trasportare segnali davvero bene su lunghe distanze. I cavi in rame si indeboliscono quando il segnale deve viaggiare sempre più lontano, ma la fibra può inviare dati su distanze maggiori senza perdere gran parte del segnale. Questo la rende perfetta per l'uso nelle reti di data center AI su larga scala.

Elevata scalabilità della larghezza di banda per future velocità dati

La fibra ottica offre la massiccia scalabilità della larghezza di banda necessaria per soddisfare i livelli di velocità dei dati richiesti dai carichi di lavoro AI di nuova generazione. La fibra è una tecnologia fondamentale per scalare l'infrastruttura AI in futuro perché supporta connessioni 400G, 800G e a velocità superiori.

Immunità alle interferenze elettromagnetiche

A differenza dei segnali elettrici, che utilizzano l'elettricità, la fibra ottica trasmette i dati attraverso la luce. Pertanto, è immune alle EMI. Ciò garantisce che la comunicazione sia più stabile e affidabile in luoghi dove sono presenti molti data center AI e migliaia di componenti ad alte prestazioni funzionano contemporaneamente.

Scalabilità superiore a livello di sistema

La fibra ottica è migliore per i sistemi perché può essere resa più grande. Le sue dimensioni ridotte, il peso inferiore e la maggiore densità di porte aiutano i data center a sfruttare meglio lo spazio, il consumo energetico e l'efficienza del raffreddamento. Man mano che i cluster AI continuano a crescere, la fibra è necessaria per costruire reti più grandi, più veloci e più efficienti.

Architettura di rete ibrida nei moderni data center per AI

Separazione della connettività intra-rack e inter-rack

Man mano che i data center per l'AI continuano a espandersi, sta emergendo un'architettura di rete ibrida che combina i punti di forza sia del rame sia della fibra ottica. Invece di sostituire completamente il rame, la moderna infrastruttura per l'AI si sta orientando verso un approccio "prima la fibra, con supporto del rame".

Il rame è ancora appropriato per la connettività intra-rack poiché le brevi distanze, il costo inferiore e la facilità di implementazione sono fattori importanti. D'altra parte, per quanto riguarda le connessioni inter-rack e a lunga distanza, la fibra ottica è ampiamente utilizzata quando sono richieste elevata larghezza di banda, bassa perdita di segnale e migliore scalabilità.

Conclusione

Sebbene i data center AI continuino a scalare, la scalabilità delle interconnessioni in rame è giunta al termine. Sebbene il rame sia ancora utile nelle connessioni intra-rack a breve distanza, le richieste sempre crescenti di maggiore larghezza di banda, portata più lunga e migliore efficienza per i carichi di lavoro AI non possono essere soddisfatte con l'attuale tecnologia in rame. La fibra ottica sta emergendo come la dorsale dell'infrastruttura AI di prossima generazione, alimentando data center hyperscale in modo più rapido e stabile per supportare sistemi AI più sofisticati.