Scegliere le interconnessioni 200G: InfiniBand HDR a confronto con Ethernet

Quando esaminano i progetti architetturali dei moderni data center e dei cluster di addestramento AI, gli ingegneri di rete si trovano spesso davanti a una decisione cruciale: scegliere tra InfiniBand HDR ed Ethernet 200GbE. Una velocità di trasmissione comune di 200G non significa che le due tecnologie funzionino allo stesso modo. Sia InfiniBand HDR sia Ethernet 200GbE supportano la connettività 200G QSFP56 utilizzando quattro corsie 50G PAM4. A seconda della piattaforma e delle specifiche dei cavi, questi sistemi possono utilizzare cavi DAC passivi o cavi ottici attivi per connessioni a corto e medio raggio. Tuttavia, la compatibilità fisica dei connettori non garantisce automaticamente la compatibilità dei protocolli.

Architettura di trasporto e controllo del flusso

Per comprendere perché un collegamento 200G si comporti diversamente a seconda del protocollo che lo attraversa, dobbiamo esaminarne i meccanismi di trasporto e di controllo del flusso. Indipendentemente dal protocollo scelto, la corretta attivazione di qualsiasi collegamento 200G ad alta densità dipende da supporti fisici affidabili, come l'impiego di cavi DAC 200G per connessioni top-of-rack a corto raggio.

Ethernet con RoCEv2: Ethernet è fondamentalmente una tecnologia di commutazione di pacchetto di uso generale. RoCEv2 trasporta il traffico di trasporto RDMA su Ethernet mediante incapsulamento UDP/IP. Ciò consente alle applicazioni RDMA di operare su reti IP instradate, mantenendo gran parte del modello di trasporto RDMA. Tuttavia, introduce anche ulteriori aspetti da considerare a livello di rete, tra cui l'instradamento IP, la gestione della congestione e il comportamento di consegna dei pacchetti. Ethernet convenzionale non offre lo stesso controllo del flusso basato su crediti a livello di collegamento utilizzato da InfiniBand. Per le implementazioni RoCEv2 sensibili alla latenza, gli operatori di rete combinano generalmente meccanismi quali Priority-based Flow Control ed Explicit Congestion Notification con algoritmi di controllo della congestione come DCQCN. Queste funzionalità possono contribuire a ridurre la perdita di pacchetti in condizioni di congestione, ma la loro efficacia dipende fortemente da una configurazione corretta, dalla gestione dei buffer e dall'ingegneria del traffico.

InfiniBand HDR: InfiniBand è stato progettato appositamente per il calcolo su cluster a bassa latenza e ad alto throughput come fabric commutata nativa. Utilizza un controllo del flusso basato su crediti per regolare il traffico a livello di collegamento: prima di trasmettere dati, un mittente deve disporre di crediti sufficienti, che indicano lo spazio disponibile nel buffer del ricevitore. Nel frattempo, un Subnet Manager centralizzato gestisce il rilevamento della fabric, la configurazione e la gestione dei percorsi. Questa architettura contribuisce a prevenire il sovraccarico dei buffer del ricevitore causato dalla congestione e riduce la dipendenza dalla configurazione PFC tipica di Ethernet. Tuttavia, non garantisce l'eliminazione di tutte le forme di errore dei pacchetti, congestione o ritrasmissione nell'intera fabric.

RDMA e prestazioni dei cluster AI

Il moderno addestramento AI, in particolare quello dei modelli linguistici di grandi dimensioni, si basa ampiamente su operazioni di comunicazione collettiva come All-Reduce, All-Gather e Reduce-Scatter. Queste operazioni consentono alle GPU distribuite su più server di scambiare dati e sincronizzare i parametri del modello o i gradienti durante l'addestramento. Durante le operazioni collettive, i ritardi di comunicazione dei singoli nodi possono prolungare il tempo di completamento di un'iterazione di addestramento. Quando la sincronizzazione diventa un collo di bottiglia, i nodi più veloci possono dover attendere i partecipanti più lenti, riducendo l'utilizzo complessivo delle GPU.

RDMA è centrale in entrambe le architetture. Sia InfiniBand sia RoCEv2 supportano RDMA, consentendo a una NIC di trasferire dati direttamente tra regioni di memoria registrate su sistemi remoti con un coinvolgimento minimo della CPU host. Riducendo le copie dei dati e l'elaborazione del kernel nel percorso dei dati, RDMA contribuisce a ridurre il carico sulla CPU e a migliorare l'efficienza della comunicazione per i carichi di lavoro ad alte prestazioni.

InfiniBand nativo offre un'architettura di trasporto e di fabric progettata appositamente per il calcolo ad alte prestazioni. Anche RoCEv2 può offrire elevate prestazioni RDMA su Ethernet, ma ottenere risultati costanti su larga scala richiede particolare attenzione al controllo della congestione, alla gestione delle code e alla configurazione della rete.

Confronto tra InfiniBand HDR 200G e RoCEv2 200GbE

Scegliere l'interconnessione 200G giusta

La scelta tra queste due tecnologie richiede una valutazione completa dei carichi di lavoro delle applicazioni, dell'infrastruttura esistente e delle competenze operative e della maturità tecnica del team.

Per cluster AI e HPC su larga scala:

Se il carico di lavoro principale prevede l'addestramento di reti neurali di grandi dimensioni su enormi cluster GPU, dove la latenza di sincronizzazione tra i nodi influisce direttamente sui tempi di addestramento, InfiniBand offre un'architettura di rete progettata specificamente per questi scenari. Il suo meccanismo di controllo del flusso basato sui crediti regola la trasmissione dei dati a livello di collegamento, mentre un Subnet Manager centralizzato facilita la gestione unificata delle configurazioni di rete e dei percorsi dei dati. Negli ambienti scale-out su larga scala, la gestione centralizzata delle sottoreti e il controllo del flusso basato sui crediti a livello di collegamento di InfiniBand contribuiscono a semplificare l'amministrazione della rete, riducendo la necessità di complesse configurazioni PFC e regolazioni della congestione tipiche di Ethernet. Tuttavia, prima dell'implementazione, è opportuno valutare la familiarità del team con la gestione di un Subnet Manager, analizzare l'infrastruttura di switch esistente e considerare i futuri requisiti di espansione del cluster.

Per ambienti di data center convergenti:

Se l'infrastruttura deve supportare una vasta gamma di carichi di lavoro, come la virtualizzazione di uso generale, i microservizi containerizzati e lo storage a blocchi ad alte prestazioni, una soluzione Ethernet 200GbE che utilizza RoCEv2 offre maggiore flessibilità. Si integra perfettamente con le tecnologie di routing aziendale e di virtualizzazione della rete esistenti, come BGP ed EVPN-VXLAN. Detto questo, l'implementazione di RoCEv2 richiede una pianificazione meticolosa della QoS e della gestione della congestione. È necessario assicurarsi che gli switch del data center supportino la marcatura ECN e PFC e verificare che sia le schede di interfaccia di rete sia l'intera infrastruttura di rete siano configurate correttamente per i meccanismi di controllo della congestione come DCQCN. Inoltre, il team operativo dovrebbe definire standard chiari di configurazione e convalida, concentrandosi sulla prioritizzazione del traffico, sulle soglie dei buffer e sul comportamento della rete in condizioni di congestione.

Considerazioni sul cablaggio DAC e AOC

In una rete di data center 200G, la scelta tra DAC e AOC è determinata in larga misura dalla distanza del collegamento, dai requisiti di instradamento dei cavi e dalla compatibilità della piattaforma. La connettività a livello fisico svolge un ruolo fondamentale nel mantenere l'integrità del segnale sui collegamenti 200G.

Cavi DAC passivi QSFP56: Poiché i cavi DAC passivi utilizzano connessioni elettriche dirette anziché ricetrasmettitori ottici e collegamenti in fibra, offrono un'opzione semplice ed economica per le interconnessioni 200G a breve distanza. Tuttavia, durante la progettazione dei collegamenti 200G è comunque necessario considerare la lunghezza dei cavi, la perdita di inserzione, l'integrità del segnale e i requisiti FEC specifici della piattaforma. Nelle configurazioni supportate, una porta 200G QSFP56 può essere suddivisa in due collegamenti 100G utilizzando un cavo breakout compatibile. Ciò richiede che la porta di origine, le interfacce a valle e i dispositivi di rete supportino la stessa modalità breakout e la stessa mappatura delle lane.

Cavi ottici attivi (AOC): Per i collegamenti più lunghi, nei quali la lunghezza dei cavi in rame passivi o i vincoli di instradamento diventano fattori limitanti, i cavi ottici attivi possono offrire un'alternativa pratica. Per le implementazioni InfiniBand HDR, AOC sono disponibili anche in diverse lunghezze e configurazioni breakout, comprese opzioni da 200G a due collegamenti 100G (si noti che queste opzioni breakout dipendono dal supporto specifico del protocollo e del dispositivo). Questi assemblaggi possono semplificare la connettività quando il cablaggio in rame non è adatto o quando sono necessarie tratte di cavo più lunghe. I progettisti dovrebbero comunque verificare il protocollo supportato, la portata e la compatibilità degli endpoint.

Conclusione

Allineare l'architettura di rete ai requisiti dei carichi di lavoro è solo una parte del processo di progettazione. I progettisti devono anche verificare la compatibilità dei cavi, le configurazioni breakout, la portata dei collegamenti e il supporto degli endpoint. Valutando sia il protocollo di rete sia l'interconnessione fisica, i team dei data center possono realizzare infrastrutture 200G che si espandono in modo affidabile per supportare carichi di lavoro AI, HPC e aziendali.