Apakah RDMA melalui Ethernet Terpadu?

RoCE ialah teknologi yang memenuhi keperluan aplikasi jalur lebar tinggi dan berprestasi tinggi. Protokol TCP/IP tradisional mempunyai kependaman tinggi dan penggunaan lebar jalur yang tidak cekap serta tidak dapat memenuhi keperluan rangkaian yang semakin meningkat, maka RoCE dibangunkan. Ia mengintegrasikan capaian memori jauh ke dalam Ethernet melalui teknologi RDMA, meningkatkan kecekapan penghantaran data dengan ketara dan mengurangkan kependaman. Artikel ini akan membantu anda memahami secara terperinci apakah RoCE, supaya anda dapat mendalaminya.

Apakah Rangkaian RoCE

RoCE (RDMA melalui Ethernet Terangkai) ialah teknologi capaian memori terus jauh (RDMA) berasaskan Ethernet yang direka untuk mencapai penghantaran data berkependaman rendah dan daya pemprosesan tinggi melalui Ethernet tanpa kehilangan. Teknologi RoCE memperkenalkan teknologi RDMA dalam pengkomputeran berprestasi tinggi dan rangkaian ke dalam infrastruktur Ethernet standard, lalu memberikan keupayaan RDMA serta ciri pengkomputeran berprestasi tinggi kepada Ethernet tradisional. Oleh itu, teknologi RoCE mempunyai kelebihan hebat kedua-dua Ethernet dan RDMA.

Teknologi RoCE membolehkan prestasi tinggi yang serupa dengan InfiniBand dicapai pada rangkaian Ethernet sedia ada. Ia mengurangkan kependaman dan meningkatkan lebar jalur dengan mengoptimumkan protokol Ethernet. Berbanding dengan Ethernet tradisional: RoCE menyediakan kependaman yang lebih rendah dan daya pemprosesan yang lebih tinggi sambil mengekalkan keserasian rapat dengan peranti Ethernet sedia ada.

Kelebihan RoCE: Kelebihan utama RoCE ialah keberkesanan kos dan keserasiannya. Memandangkan ia berasaskan piawaian Ethernet, ia boleh menggunakan peralatan dan kabel rangkaian matang yang tersedia di pasaran, tidak tertakluk kepada sekatan jenama tunggal dan wilayah, serta mempunyai kitaran bekalan dan perkhidmatan selepas jualan yang baik. Perkara utama ialah ia juga mempunyai keserasian yang sangat baik dengan Ethernet dan peralatannya, sekali gus meningkatkan fleksibiliti dengan ketara dan mengurangkan kos. Oleh itu, teknologi RoCE semakin banyak digunakan dalam pusat data, storan berprestasi tinggi HPC, kecerdasan buatan dan bidang lain, serta menjadi teknologi sambungan kos efektif dalam sambungan antara pelayan GPU. QSFPTEK menyediakan suis L3/L3+ yang menyokong RoCE2.

Perkembangan dan Jenis RoCE

RoCE v1

Pada April 2010, IBTA mengeluarkan RoCE. Piawaian ini dikeluarkan sebagai tambahan kepada Spesifikasi Seni Bina Infiniband, jadi ia juga dipanggil IBoE (InfiniBand over Ethernet). Pada masa ini, piawaian RoCE menggantikan lapisan rangkaian TCP/IP dengan lapisan rangkaian IB pada lapisan pautan Ethernet, jadi ia tidak menyokong penghalaan IP dan dipanggil RoCE v1.

RoCE v1 (Lapisan 2) beroperasi pada Lapisan Pautan Ethernet (Lapisan 2), jadi typeID protokol RoCE v1 pada lapisan Ethernet ialah 0x8915, maka saiz Frame biasa ialah 1500 bait, dan Jumbo Frame ialah 9000 bait.

RoCE v1 ialah protokol RDMA yang dilaksanakan berdasarkan lapisan pautan Ethernet (suis perlu menyokong teknologi kawalan aliran seperti PFC untuk memastikan penghantaran yang boleh dipercayai pada lapisan fizikal), yang membolehkan dua hos dalam VLAN yang sama berkomunikasi.

RoCE v2

Memandangkan bingkai data RoCE v1 tidak membawa pengepala IP, ia hanya boleh berkomunikasi dalam subnet L2. Untuk menyelesaikan masalah ini, IBTA mencadangkan RoCE V2 pada tahun 2014. RoCE v2 ialah lanjutan RoCE v1, yang menggantikan GRH (Global Routing Header) dengan pengepala UDP + pengepala IP. RoCE v2 mengatasi batasan RoCE v1 yang terikat pada satu VLAN. Dengan menukar pengkapsulan paket, termasuk pengepala IP dan UDP, RoCE v2 boleh digunakan merentasi rangkaian L2 dan L3. Struktur bingkai yang diperluas ditunjukkan dalam rajah di bawah.

RoCE v2 (Layer 3) beroperasi pada UDP/IPv4 atau UDP/IPv6 (Layer 3) dan menggunakan UDP Port 4791 untuk penghantaran. Oleh sebab paket RoCE v2 boleh dirutekan pada Layer 3, RoCE v2 juga boleh dipanggil RoCE Boleh Dirutekan atau RRoCE secara ringkas.

RoCE v2 ialah evolusi dan penambahbaikan daripada RoCE v1 generasi sebelumnya. Dengan memperkenalkan beberapa siri penambahbaikan, ia menyelesaikan batasan asal dengan berkesan dan meningkatkan prestasi secara menyeluruh. Versi generasi kedua RoCE v2 menonjol dengan peningkatan prestasi yang ketara dan fleksibiliti yang lebih tinggi, serta telah menjadi aplikasi arus perdana dalam pasaran.

Pelaksanaan RoCE

Untuk mencapai interkoneksi RoCE, peranti kad rangkaian mesti memasang pemacu yang menyokong RoCE. Semua NIC Ethernet (Kad Antara Muka Rangkaian) mesti menyokong kad penyesuai rangkaian RoCE (iaitu kad rangkaian RoCE). Pemacu RoCE tersedia dalam Red Hat, Linux, Windows dan sistem pengendalian umum yang lain. Oleh itu, tiga kaedah diperlukan untuk melaksanakan rangkaian RoCE:

a. Untuk pelayan atau peranti hos, anda perlu menggunakan kad rangkaian RoCE untuk menyambung.

b. Untuk suis rangkaian, pilih suis yang menyokong sistem pengendalian PFC. PFC, atau kawalan aliran keutamaan, ialah salah satu kaedah yang diperlukan untuk membina Ethernet tanpa kehilangan. Ia boleh menyediakan kawalan aliran berasaskan keutamaan secara hop demi hop. Kaedah kawalan aliran individu ini membolehkan rangkaian kekal lancar apabila sesetengah trafik mengalami kesesakan, sambil mengelakkan gangguan terhadap trafik lain, sekali gus memastikan lebar jalur yang besar dan kependaman yang rendah.

c. Bina seni bina Ethernet tanpa kehilangan yang pintar.

NIC RoCE

NIC RoCE ialah kad rangkaian yang menyokong protokol RoCE. Ia menggunakan teknologi RDMA dan mengintegrasikan ciri perkakasan yang diperlukan. Ia boleh membebaskan CPU daripada tugas berat, sekali gus mengurangkan kependaman penghantaran data dengan ketara serta meningkatkan prestasi operasi dan lebar jalur keseluruhan sistem dengan berkesan. 

Suis berprestasi tinggi dan lebar jalur tinggi

Disebabkan permintaan terhadap lebar jalur yang besar, RoCE sering memerlukan sokongan suis berprestasi tinggi dan lebar jalur tinggi. Asas teras untuk membina suis rangkaian berprestasi tinggi dan lebar jalur tinggi terletak pada teknologi cip penghantaran suis.

Seni bina Ethernet yang pintar dan tanpa kehilangan

Selain sumber perkakasan di atas, dalam rangkaian RoCE, kita juga perlu membina seni bina Ethernet tanpa kehilangan yang pintar bagi memastikan tiada kehilangan paket semasa penghantaran rangkaian.

Rangkaian tanpa kehilangan pintar menggunakan teknologi kawalan aliran dan teknologi kawalan kesesakan untuk meningkatkan daya pemprosesan rangkaian keseluruhan serta mengurangkan kependaman rangkaian. Sebaliknya, teknologi seperti rangkaian storan tanpa kehilangan pintar digunakan untuk mencapai pengoptimuman integrasi rangkaian dan sistem aplikasi. Berdasarkan hubungan antara teknologi rangkaian tanpa kehilangan pintar dengan timbunan protokol TCP/IP, berikut ialah gambar rajah seni bina teknikal rangkaian tanpa kehilangan pintar:

Perbandingan antara Rangkaian IB dan RoCE v2

Perbandingan Teknikal

Dari perspektif teknikal, InfiniBand menggunakan banyak teknologi untuk meningkatkan prestasi pemajuan rangkaian, mengurangkan masa pemulihan kerosakan, meningkatkan kebolehskalaan dan mengurangkan kerumitan operasi serta penyelenggaraan.

Perbandingan Senario Perniagaan

Prestasi perniagaan: Memandangkan kependaman hujung ke hujung InfiniBand lebih rendah berbanding RoCE v2, rangkaian yang dibina berasaskan InfiniBand mempunyai kelebihan dari segi prestasi perniagaan pada lapisan aplikasi. Walau bagaimanapun, prestasi RoCE v2 juga dapat memenuhi keperluan prestasi perniagaan bagi kebanyakan senario pengkomputeran pintar.

Skala perniagaan: InfiniBand boleh menyokong satu kluster tunggal yang terdiri daripada 10,000 kad GPU dan memastikan prestasi keseluruhan tidak menurun, dan terdapat banyak contoh amalan komersial dalam industri. Rangkaian RoCE v2 boleh menyokong skala 1,000 kad GPU dalam satu kluster tunggal tanpa banyak pengurangan prestasi rangkaian keseluruhan.

Operasi dan penyelenggaraan perniagaan: InfiniBand lebih matang berbanding RoCE v2, termasuk keupayaan pengasingan berbilang penyewa, keupayaan diagnostik operasi dan penyelenggaraan, dan lain-lain.

Kos perniagaan: Kos InfiniBand lebih tinggi berbanding RoCE v2, terutamanya kerana kos suis dan modul InfiniBand lebih tinggi berbanding suis Ethernet.

Kesimpulan

RoCE merapatkan jurang antara pengkomputeran berprestasi tinggi dan rangkaian berasaskan Ethernet dengan mengintegrasikan fungsi RDMA ke dalam infrastruktur Ethernet. Ia menyediakan kependaman rendah, lebar jalur tinggi dan keberkesanan kos, menjadikannya pilihan ideal untuk aplikasi seperti pusat data dan pengkomputeran awan. Berbanding InfiniBand, ia mempunyai keserasian yang lebih luas dan kos yang lebih rendah. Walaupun RoCE sedikit ketinggalan dari segi kependaman dan pengurusan berbilang penyewa, ia merupakan alternatif yang sangat kompetitif yang mencabar kedudukan InfiniBand.