Che cos'è RDMA over Converged Ethernet?

RoCE è una tecnologia che soddisfa le esigenze delle applicazioni ad alta larghezza di banda e ad alte prestazioni. Il protocollo TCP/IP tradizionale presenta una latenza elevata e un utilizzo inefficiente della larghezza di banda e non riesce a soddisfare le crescenti esigenze di rete, quindi è stato sviluppato RoCE. Integra l'accesso remoto alla memoria in Ethernet tramite la tecnologia RDMA, migliorando significativamente l'efficienza della trasmissione dei dati e riducendo la latenza. Questo articolo vi guiderà a una comprensione dettagliata di che cos'è RoCE, in modo che possiate comprenderlo a fondo.

Che cos'è la rete RoCE

RoCE (RDMA over Converged Ethernet) è una tecnologia di accesso diretto remoto alla memoria (RDMA) basata su Ethernet, progettata per ottenere una trasmissione dei dati a bassa latenza e ad alta produttività su Ethernet lossless. La tecnologia RoCE introduce la tecnologia RDMA del calcolo ad alte prestazioni e delle reti nell'infrastruttura Ethernet standard, conferendo all'Ethernet tradizionale funzionalità RDMA e proprietà di calcolo ad alte prestazioni. Pertanto, la tecnologia RoCE offre i potenti vantaggi sia di Ethernet sia di RDMA.

La tecnologia RoCE consente di ottenere prestazioni elevate simili a InfiniBand sulle reti Ethernet esistenti. Riduce la latenza e aumenta la larghezza di banda ottimizzando i protocolli Ethernet. Rispetto all'Ethernet tradizionale: RoCE offre una latenza inferiore e un throughput più elevato, mantenendo al contempo una stretta compatibilità con i dispositivi Ethernet esistenti.

Vantaggi di RoCE: i principali vantaggi di RoCE sono la convenienza e la compatibilità. Poiché si basa sugli standard Ethernet, può utilizzare apparecchiature di rete e cavi maturi disponibili sul mercato, non è soggetto a restrizioni di singoli marchi e aree geografiche e offre un buon ciclo di fornitura e servizio post-vendita. Un aspetto fondamentale è che ha anche un'eccellente compatibilità con Ethernet e le relative apparecchiature, migliorando notevolmente la flessibilità e riducendo i costi. Pertanto, la tecnologia RoCE è sempre più ampiamente utilizzata nei data center, nello storage HPC ad alte prestazioni, nell'intelligenza artificiale e in altri campi, diventando una tecnologia di interconnessione conveniente nell'interconnessione dei server GPU. QSFPTEK fornisce switch L3/L3+ che supportano RoCE2.

Sviluppo e tipi di RoCE

RoCE v1

Nell'aprile 2010, IBTA ha rilasciato RoCE. Questo standard è stato rilasciato come componente aggiuntivo della Infiniband Architecture Specification, quindi è anche chiamato IBoE (InfiniBand over Ethernet). In quel momento, lo standard RoCE ha sostituito il livello di rete TCP/IP con il livello di rete IB sul livello di collegamento Ethernet, quindi non supporta il routing IP, perciò è chiamato RoCE v1.

RoCE v1 (Layer 2) opera sul livello di collegamento Ethernet (Layer 2), quindi il typeID del protocollo RoCE v1 a livello Ethernet è 0x8915; pertanto la dimensione normale del frame è 1500 byte e il Jumbo Frame è 9000 byte.

RoCE v1 è un protocollo RDMA implementato sulla base del livello di collegamento Ethernet (lo switch deve supportare tecnologie di controllo del flusso come PFC per garantire una trasmissione affidabile a livello fisico), consentendo a due host nella stessa VLAN di comunicare.

RoCE v2

Poiché il frame di dati di RoCE v1 non contiene un'intestazione IP, può comunicare solo all'interno della subnet L2. Per risolvere questo problema, IBTA ha proposto RoCE V2 nel 2014. RoCE v2 è un'estensione di RoCE v1, che sostituisce il GRH (Global Routing Header) con un'intestazione UDP + intestazione IP. RoCE v2 supera la limitazione di RoCE v1 di essere vincolato a una singola VLAN. Modificando l'incapsulamento dei pacchetti, incluse le intestazioni IP e UDP, RoCE v2 può essere utilizzato su reti L2 e L3. La struttura estesa del frame è mostrata nella figura seguente.

RoCE v2 (Layer 3) opera su UDP/IPv4 o UDP/IPv6 (Layer 3) e utilizza la porta UDP 4791 per la trasmissione. Poiché i pacchetti RoCE v2 sono instradabili su Layer 3, RoCE v2 può anche essere chiamato Routable RoCE o RRoCE in breve.

RoCE v2 è un'evoluzione e un miglioramento della generazione precedente RoCE v1. Introducendo una serie di miglioramenti, risolve efficacemente le limitazioni originali e migliora complessivamente le prestazioni. La versione di seconda generazione RoCE v2 si distingue per il suo significativo miglioramento delle prestazioni e la maggiore flessibilità, ed è diventata l'applicazione mainstream sul mercato.

Implementazione di RoCE

Per realizzare l'interconnessione RoCE, il dispositivo della scheda di rete deve installare un driver che supporti RoCE. Tutte le NIC Ethernet (Network Interface Cards) devono supportare schede adattatore di rete RoCE (ovvero schede di rete RoCE). I driver RoCE sono disponibili in Red Hat, Linux, Windows e altri sistemi operativi comuni. Pertanto, sono necessari tre metodi per implementare le reti RoCE:

a. Per server o dispositivi host, è necessario utilizzare schede di rete RoCE per la connessione.

b. Per gli switch di rete, scegliere di utilizzare switch che supportano i sistemi operativi PFC. PFC, o controllo di flusso basato sulla priorità, è uno dei mezzi necessari per costruire Ethernet senza perdite. Può fornire un controllo di flusso basato sulla priorità, hop by hop. Questo metodo di controllo di flusso individuale consente alla rete di rimanere fluida quando parte del traffico è congestionata, impedendo al contempo interferenze con altro traffico, garantendo così ampia larghezza di banda e bassa latenza.

c. Costruisci un'architettura Ethernet intelligente senza perdite.

RoCE NIC

RoCE NIC è una scheda di rete che supporta il protocollo RoCE. Utilizza la tecnologia RDMA e integra le funzionalità hardware necessarie. Può liberare la CPU dalle attività gravose, riducendo così significativamente la latenza della trasmissione dei dati e migliorando efficacemente le prestazioni operative e la larghezza di banda dell'intero sistema. 

Switch ad alte prestazioni e ad alta larghezza di banda

A causa della richiesta di ampia larghezza di banda, RoCE richiede spesso il supporto di switch ad alte prestazioni e ad alta larghezza di banda. Il fondamento principale per costruire switch di rete ad alte prestazioni e ad alta larghezza di banda risiede nella tecnologia dei chip di inoltro dello switch.

Architettura Ethernet intelligente e senza perdite

Oltre alle risorse hardware sopra indicate, nella rete RoCE dobbiamo anche costruire un'architettura Ethernet intelligente e lossless per garantire che non vi sia alcuna perdita di pacchetti durante la trasmissione di rete.

Le reti intelligenti senza perdita utilizzano la tecnologia di controllo del flusso e la tecnologia di controllo della congestione per migliorare il throughput complessivo della rete e ridurre la latenza di rete. D'altra parte, utilizzano tecnologie come le reti di storage intelligenti senza perdita per ottenere l'ottimizzazione dell'integrazione tra rete e sistemi applicativi. In base alla corrispondenza tra la tecnologia di rete intelligente senza perdita e lo stack di protocolli TCP/IP, di seguito è riportato il diagramma dell'architettura tecnica della rete intelligente senza perdita:

Confronto tra reti IB e RoCE v2

Confronto tecnico

Da una prospettiva tecnica, InfiniBand utilizza molte tecnologie per migliorare le prestazioni di inoltro della rete, ridurre i tempi di ripristino dai guasti, migliorare la scalabilità e ridurre la complessità delle operazioni e della manutenzione.

Confronto degli scenari aziendali

Prestazioni aziendali: Poiché la latenza end-to-end di InfiniBand è inferiore a quella di RoCE v2, la rete costruita su InfiniBand presenta un vantaggio nelle prestazioni aziendali a livello applicativo. Tuttavia, le prestazioni di RoCE v2 possono anche soddisfare i requisiti di prestazioni aziendali della maggior parte degli scenari di calcolo intelligente.

Scala aziendale: InfiniBand può supportare un singolo cluster di 10.000 schede GPU e garantire che le prestazioni complessive non diminuiscano, e nel settore esistono molti casi di applicazione commerciale. La rete RoCE v2 può supportare una scala di 1.000 schede GPU in un singolo cluster senza una grande riduzione delle prestazioni complessive della rete.

Operazioni aziendali e manutenzione: InfiniBand è più maturo di RoCE v2, incluse le capacità di isolamento multi-tenant, le capacità diagnostiche di gestione e manutenzione, ecc.

Costo aziendale: Il costo di InfiniBand è superiore a quello di RoCE v2, principalmente perché il costo degli switch e dei moduli InfiniBand è superiore a quello degli switch Ethernet.

Conclusione

RoCE colma il divario tra il calcolo ad alte prestazioni e le reti basate su Ethernet integrando le funzioni RDMA nell'infrastruttura Ethernet. Offre bassa latenza, elevata larghezza di banda e convenienza economica, rendendolo una scelta ideale per applicazioni come data center e cloud computing. Rispetto a InfiniBand, ha una compatibilità più ampia e costi inferiori. Sebbene RoCE sia leggermente inferiore in termini di latenza e gestione multi-tenant, è un'alternativa altamente competitiva che insidia la posizione di InfiniBand.