Come funziona il networking dei Data Center per l'AI?

Che cos'è il networking dei data center AI?

La rete del data center AI si riferisce all'infrastruttura di rete nel data center che supporta le funzioni di intelligenza artificiale (AI). La rete che supporta queste funzioni richiede una maggiore scalabilità di rete, prestazioni elevate e bassa latenza rispetto alle reti precedenti. I carichi di lavoro di AI e machine learning (ML) sono più impegnativi delle normali attività di rete, soprattutto durante le fasi intensive di addestramento AI.

La comunicazione rapida ed estremamente efficiente di InfiniBand tra server e sistemi di storage ha reso questa tecnologia di rete una tecnologia proprietaria popolare per il calcolo ad alte prestazioni (HPC) e le reti di training AI. Successivamente, Ethernet ha guadagnato una notevole trazione nel mercato delle reti per data center AI come soluzione tecnologica alternativa aperta e potrebbe diventare la tecnologia dominante negli sviluppi futuri.

Ci sono diversi motivi per la crescente attenzione a Ethernet nelle reti dei data center AI, con l'efficienza operativa e il controllo dei costi come primi e più evidenti. Sul versante della gestione tecnica, Ethernet dispone oggi di un ampio bacino di ingegneri di rete capaci di costruire e gestire reti, mentre le competenze nelle reti InfiniBand proprietarie sono più limitate. In secondo luogo, anche il controllo dei costi è un motivo importante. Per le apparecchiature dei data center AI con l'attuale 400Gb Ethernet, il prezzo complessivo è notevolmente più conveniente rispetto alle soluzioni InfiniBand; le apparecchiature InfiniBand e gli strumenti di gestione sono forniti principalmente tramite Nvidia, mentre Ethernet offre un ampio accesso agli strumenti di gestione della rete.

Come funziona il networking dei Data Center per l'AI?

Oltre al fatto che i server GPU vengono implementati in gran numero per soddisfare le enormi esigenze di calcolo dei data center AI e che, di conseguenza, il costo complessivo aumenta, anche i componenti di rete dei data center AI devono migliorare l'utilizzo delle GPU, il che significa che devono essere collegati in rete in modo più efficiente. La rete Ethernet è una tecnologia aperta comprovata ed è una soluzione adatta per le reti dei data center AI, che può essere progettata specificamente per le esigenze di rete dei carichi di lavoro AI. La sua architettura di rete è potenziata dalla gestione della congestione, dal bilanciamento del carico e dalla bassa latenza, ottimizzando così il tempo di completamento dei job (JCT). Anche la gestione semplificata e l'automazione contribuiscono all'affidabilità della rete e a prestazioni costanti.

Progettazione del fabric

La rete del data center per l'AI può utilizzare una varietà di progetti architetturali, ma si suggerisce di scegliere un'architettura Clos non bloccante any-to-any. Questo progetto ottimizza il framework di training sfruttando velocità di rete costanti di 400 Gbps (con possibile aumento a 800 Gbps) dalla NIC al leaf e al backbone. In base alle dimensioni delle GPU e alle dimensioni del modello, è possibile implementare una struttura non bloccante a due livelli e tre tier oppure una struttura non bloccante a tre livelli e cinque tier.

Controllo del flusso ed evitamento della congestione

Oltre alla capacità del Fabric, altre considerazioni di progettazione sono fondamentali per migliorare l'affidabilità e l'efficienza del Fabric complessivo. Queste considerazioni includono interconnessioni fabric opportunamente dimensionate con un numero ottimale di collegamenti e la capacità di controllare e correggere gli squilibri del traffico per evitare congestione e perdita di pacchetti. Explicit Congestion Notification (ECN), Data Center Quantified Congestion Notification (DCQCN) e Priority-Based Flow Control affrontano gli squilibri del traffico per garantire una trasmissione dei dati senza perdite.

Il bilanciamento del carico dinamico e adattivo viene implementato sugli switch per ridurre la congestione dei dati. Il bilanciamento dinamico del carico e la redistribuzione locale del traffico sullo switch determinano una distribuzione uniforme del traffico. Il bilanciamento adattivo del carico monitora l'inoltro del traffico e le tabelle dei trasferimenti successivi per individuare squilibri e indirizzare il traffico lontano dai percorsi congestionati.

L'ECN notifica in anticipo alle applicazioni quando la congestione dei dati è inevitabile. Durante questo periodo, leaf e spine vengono aggiornati con pacchetti abilitati ECN per informare il mittente della congestione, consentendogli di rallentare la trasmissione per evitare la perdita di pacchetti. Se il mittente non risponde tempestivamente, il Priority-based Flow Control (PFC) consente ai ricevitori e ai mittenti Ethernet di condividere feedback sulla disponibilità del buffer. Infine, durante la congestione, gli switch leaf e spine mettono in pausa o limitano il traffico con link specifici per alleviare la congestione e prevenire la perdita di pacchetti, consentendo la trasmissione lossless di particolari classi di traffico.

Scalabilità e prestazioni

Le soluzioni Ethernet sono diventate gli standard aperti preferiti per la gestione delle applicazioni HPC e AI. Guardando al futuro (800GbE e il Data Center Bridging (DCB)), la natura più veloce, affidabile e scalabile di Ethernet la rende in grado di gestire l'elevata velocità di trasmissione dei dati e i requisiti di bassa latenza delle applicazioni AI mission-critical.

Automazione

L'automazione può aiutare le soluzioni di rete per data center AI a completare efficacemente il ciclo finale; non tutta l'automazione è uguale e, per realizzare il valore totale della capacità di rete, il software di automazione deve offrire operazioni orientate prima di tutto all'esperienza. Può essere English nella progettazione, nell'implementazione e nella gestione dei data center AI. Consente una progettazione e un'implementazione dei data center AI ripetibili e continuamente validate; oltre a eliminare gli errori indotti dall'uomo, può anche sfruttare la telemetria e i dati sul traffico per ottimizzare le prestazioni, facilitare la risoluzione proattiva dei guasti ed evitare interruzioni di rete.

Perché sono necessarie reti per data center AI per soddisfare le esigenze guidate dall'AI?

La rete del data center AI soddisfa i requisiti guidati dall'AI generativa e dai modelli AI di deep learning su larga scala. Lo sviluppo dei modelli AI comprende tre fasi:

Fase 1: Preparazione dei dati - Raccolta e organizzazione dei set di dati per l'addestramento dei modelli di IA.

Fase 2: Addestramento dell'IA - Addestrare il modello di IA esponendolo a grandi quantità di dati affinché apprenda schemi e relazioni per sviluppare intelligenza.

Fase 3: Inferenza AI - Applicazione di modelli addestrati a scenari reali per effettuare previsioni o prendere decisioni basate su dati nuovi e sconosciuti.

Sebbene la Fase 3 sfrutti tipicamente i data center e le reti cloud esistenti, la Fase 2 (addestramento dell'IA) richiede risorse significative di dati e calcolo per supportare il processo di apprendimento iterativo. Le unità di elaborazione grafica (GPU) sono comunemente utilizzate per l'apprendimento e l'inferenza dell'IA, spesso in configurazioni cluster per aumentare l'efficienza. Tuttavia, la scalabilità dei cluster può aumentare i costi, evidenziando l'importanza di reti per data center IA che non compromettano l'efficienza del cluster.

L'addestramento di modelli di grandi dimensioni richiede il collegamento di un gran numero di server GPU, a volte decine di migliaia, a un costo di oltre $400,000 per server nel 2023. Pertanto, ottimizzare i tempi di completamento dei job e ridurre al minimo la latenza di coda, in cui carichi di lavoro AI anomali rallentano il completamento complessivo dei job, è fondamentale per massimizzare il ritorno sull'investimento in GPU. In questo contesto, le reti dei data center AI devono essere affidabili ed evitare una perdita di efficienza del cluster.

Domande frequenti sul networking dei data center AI 

Quale problema risolve la rete del data center AI?

L'intelligenza artificiale richiede grandi quantità di dati e risorse di calcolo per l'IA generativa e il deep learning, al fine di supportare il processo iterativo di sviluppo dei modelli, in cui i modelli di IA apprendono e migliorano i propri parametri a partire dai dati che raccolgono costantemente. I processori grafici sono particolarmente adatti ai carichi di lavoro di apprendimento e inferenza dell'IA, ma oltre a costruire cluster GPU, i grandi data center devono migliorare l'efficienza dei modelli di IA man mano che scalano i propri cluster, un processo che aumenta anche i costi; pertanto è fondamentale utilizzare una rete di data center per l'IA che non comprometta l'efficienza dei cluster.

Ethernet vs. InfiniBand: qual è la soluzione migliore per le reti dei data center AI?

Sebbene InfiniBand, una tecnologia proprietaria, abbia portato alcuni progressi e innovazioni alla tecnologia AI, l'uso delle apparecchiature InfiniBand è costoso, non può essere reso più economico per un mercato competitivo di domanda e offerta e deve essere affiancato da tecnici di rete proprietari. La tecnologia Ethernet, d'altra parte, è la tecnologia di rete più ampiamente utilizzata al mondo dopo la tecnologia IP e può anche soddisfare i requisiti di elevato throughput dei dati e bassa latenza delle applicazioni AI, con istanze 800GbE della tecnologia Ethernet ora disponibili con funzionalità avanzate di Data Center Bridging (DCB). Per la tecnologia InfiniBand, fornita principalmente tramite NVIDIA, per il networking Ethernet può essere utilizzata una varietà più ampia di strumenti di gestione rispetto alla tecnologia InfiniBand. In sintesi, i fabric Ethernet diventano ideali per il traffico AI ad alta priorità e mission-critical.