Memilih Sambungan Antara 200G: InfiniBand HDR berbanding Ethernet

Apabila menilai reka bentuk seni bina untuk pusat data moden dan kluster latihan AI, jurutera rangkaian sering berdepan dengan keputusan penting: memilih antara InfiniBand HDR dan 200GbE Ethernet. Kadar data 200G yang sama tidak bermakna kedua-dua teknologi beroperasi dengan cara yang sama. Kedua-dua InfiniBand HDR dan 200GbE Ethernet menyokong kesambungan 200G QSFP56 menggunakan empat lorong 50G PAM4. Bergantung pada platform dan spesifikasi kabel, sistem ini boleh menggunakan kabel DAC pasif atau kabel optik aktif untuk sambungan jarak dekat dan sederhana. Walau bagaimanapun, keserasian penyambung fizikal tidak menjamin keserasian protokol secara automatik.

Seni Bina Pengangkutan dan Kawalan Aliran

Untuk memahami sebab pautan 200G berkelakuan berbeza mengikut protokol yang berjalan melaluinya, kita perlu meneliti mekanisme pengangkutan dan kawalan aliran masing-masing. Tanpa mengira protokol yang dipilih, kejayaan mengaktifkan mana-mana pautan 200G berketumpatan tinggi bergantung pada media fizikal yang teguh, seperti penggunaan kabel DAC 200G untuk sambungan bahagian atas rak jarak dekat.

Ethernet dengan RoCEv2: Ethernet pada asasnya ialah teknologi pensuisan paket kegunaan umum. RoCEv2 membawa trafik pengangkutan RDMA melalui Ethernet menggunakan pengkapsulan UDP/IP. Ini membolehkan aplikasi RDMA beroperasi merentas rangkaian IP berhala sambil mengekalkan sebahagian besar model pengangkutan RDMA. Walau bagaimanapun, ia turut memperkenalkan pertimbangan tambahan pada lapisan rangkaian, termasuk penghalaan IP, pengurusan kesesakan dan tingkah laku penghantaran paket. Ethernet konvensional tidak menyediakan kawalan aliran berasaskan kredit pada peringkat pautan yang sama seperti yang digunakan oleh InfiniBand. Untuk pelaksanaan RoCEv2 yang sensitif terhadap kependaman, pengendali rangkaian lazimnya menggabungkan mekanisme seperti Kawalan Aliran berasaskan Keutamaan dan Pemberitahuan Kesesakan Eksplisit dengan algoritma kawalan kesesakan seperti DCQCN. Ciri-ciri ini boleh membantu mengurangkan kehilangan paket semasa kesesakan, tetapi keberkesanannya sangat bergantung pada konfigurasi yang betul, pengurusan penimbal dan kejuruteraan trafik.

InfiniBand HDR: InfiniBand dibina khusus untuk pengkomputeran kluster berkependaman rendah dan berdaya pemprosesan tinggi sebagai fabrik pensuisan natif. Ia menggunakan kawalan aliran berasaskan kredit untuk mengawal selia trafik pada peringkat pautan: penghantar mesti mempunyai kredit yang mencukupi, yang menunjukkan ruang penimbal penerima yang tersedia, sebelum menghantar data. Sementara itu, Subnet Manager berpusat mengendalikan penemuan fabrik, konfigurasi dan pengurusan laluan. Seni bina ini membantu mencegah limpahan penimbal penerima akibat kesesakan dan mengurangkan kebergantungan pada konfigurasi PFC gaya Ethernet. Walau bagaimanapun, ia tidak menjamin bahawa semua bentuk ralat paket, kesesakan atau penghantaran semula dihapuskan di seluruh fabrik.

RDMA dan Prestasi Kluster AI

Latihan AI moden, khususnya latihan model bahasa besar, sangat bergantung pada operasi komunikasi kolektif seperti All-Reduce, All-Gather dan Reduce-Scatter. Operasi ini membolehkan GPU yang teragih merentas berbilang pelayan bertukar data dan menyegerakkan parameter model atau kecerunan semasa latihan. Semasa operasi kolektif, kelewatan komunikasi pada nod individu boleh memanjangkan masa penyelesaian sesuatu lelaran latihan. Apabila penyegerakan menjadi faktor penghambat, nod yang lebih pantas mungkin perlu menunggu peserta yang lebih perlahan, sekali gus mengurangkan penggunaan GPU keseluruhan.

RDMA merupakan komponen teras dalam kedua-dua seni bina. Kedua-dua InfiniBand dan RoCEv2 menyokong RDMA, yang membolehkan NIC memindahkan data secara langsung antara kawasan memori berdaftar pada sistem jauh dengan penglibatan CPU hos yang minimum. Dengan mengurangkan penyalinan data dan pemprosesan kernel dalam laluan data, RDMA membantu mengurangkan overhed CPU dan meningkatkan kecekapan komunikasi untuk beban kerja berprestasi tinggi.

InfiniBand natif menyediakan seni bina pengangkutan dan fabrik yang dibina khusus untuk pengkomputeran berprestasi tinggi. RoCEv2 juga boleh memberikan prestasi RDMA yang tinggi melalui Ethernet, tetapi untuk mencapai hasil yang konsisten pada skala besar, perhatian teliti perlu diberikan kepada kawalan kesesakan, pengurusan baris gilir dan konfigurasi rangkaian.

Perbandingan 200G InfiniBand HDR dan 200GbE RoCEv2

Memilih Saling Sambungan 200G yang Tepat

Pemilihan antara kedua-dua teknologi ini memerlukan penilaian menyeluruh terhadap beban kerja aplikasi anda, infrastruktur sedia ada, serta kepakaran operasi dan kematangan teknikal pasukan anda.

Untuk kluster AI dan HPC berskala besar:

Jika beban kerja utama anda melibatkan latihan rangkaian neural yang besar pada kluster GPU yang amat besar, dengan kependaman penyegerakan antara nod yang memberi kesan langsung terhadap masa latihan, InfiniBand menawarkan seni bina rangkaian yang direka khusus untuk senario sedemikian. Mekanisme kawalan aliran berasaskan kreditnya mengawal penghantaran data pada lapisan pautan, manakala Subnet Manager berpusat memudahkan pengurusan bersepadu bagi konfigurasi rangkaian dan laluan data. Dalam persekitaran berskala besar yang berkembang secara mendatar, pengurusan subnet berpusat dan kawalan aliran berasaskan kredit pada peringkat pautan dalam InfiniBand membantu memudahkan pentadbiran rangkaian, sekali gus mengurangkan keperluan untuk konfigurasi PFC yang kompleks dan penalaan kesesakan yang lazim dalam Ethernet. Walau bagaimanapun, sebelum pelaksanaan, anda perlu menilai tahap kebiasaan pasukan anda dalam mengurus Subnet Manager, menilai infrastruktur suis sedia ada anda, dan mempertimbangkan keperluan penskalaan kluster anda pada masa hadapan.

Untuk persekitar pusat data tertumpuan:

Jika infrastruktur anda mesti menyokong pelbagai beban kerja, seperti pemayaan kegunaan umum, mikroperkhidmatan dalam kontena, dan storan blok berprestasi tinggi, penyelesaian Ethernet 200GbE yang menggunakan RoCEv2 menawarkan fleksibiliti yang lebih tinggi. Penyelesaian ini bersepadu dengan lancar dengan teknologi penghalaan perusahaan dan pemayaan rangkaian sedia ada, seperti BGP dan EVPN-VXLAN. Namun begitu, pelaksanaan RoCEv2 memerlukan perancangan yang teliti berhubung QoS dan pengurusan kesesakan. Anda mesti memastikan bahawa suis pusat data anda menyokong penandaan ECN dan PFC, serta mengesahkan bahawa kad antara muka rangkaian dan infrastruktur rangkaian anda secara keseluruhan dikonfigurasikan dengan betul untuk mekanisme kawalan kesesakan seperti DCQCN. Selain itu, pasukan operasi anda perlu menetapkan piawaian konfigurasi dan pengesahan yang jelas, dengan tumpuan pada pengutamaan trafik, ambang penimbal, dan tingkah laku kesesakan rangkaian.

Pertimbangan Pengkabelan DAC dan AOC

Dalam rangkaian pusat data 200G, pilihan antara DAC dan AOC sebahagian besarnya ditentukan oleh jarak pautan, keperluan penghalaan kabel, dan keserasian platform. Kesambungan lapisan fizikal memainkan peranan penting dalam mengekalkan integriti isyarat merentas pautan 200G.

Kabel DAC QSFP56 Pasif: Oleh sebab kabel DAC pasif menggunakan sambungan elektrik langsung dan bukannya transceiver optik serta pautan gentian, kabel ini menawarkan pilihan yang mudah dan menjimatkan kos untuk saling sambungan 200G jarak dekat. Walau bagaimanapun, panjang kabel, kehilangan sisipan, integriti isyarat, dan keperluan FEC khusus platform masih perlu dipertimbangkan semasa mereka bentuk pautan 200G. Dalam konfigurasi yang disokong, port 200G QSFP56 boleh dipecahkan kepada dua pautan 100G menggunakan kabel pecah keluar yang serasi. Ini memerlukan port sumber, antara muka hiliran, dan peranti rangkaian menyokong mod pecah keluar dan pemetaan lorong yang sama.

Kabel Optik Aktif (AOCs): Untuk sambungan yang lebih panjang apabila panjang kabel tembaga pasif atau kekangan penghalaan menjadi faktor pembatas, kabel optik aktif boleh menyediakan alternatif yang praktikal. Untuk pelaksanaan InfiniBand HDR, AOCs juga tersedia dalam pelbagai panjang dan konfigurasi pecah keluar, termasuk pilihan 200G kepada dua 100G (ambil perhatian bahawa pilihan pecah keluar ini bergantung pada sokongan protokol dan peranti tertentu). Set kabel ini boleh memudahkan kesambungan apabila pengkabelan tembaga tidak sesuai atau apabila laluan kabel yang lebih panjang diperlukan. Jurutera masih perlu mengesahkan protokol yang disokong, jarak capaian, dan keserasian titik akhir.

Kesimpulan

Menyelaraskan seni bina rangkaian dengan keperluan beban kerja hanyalah sebahagian daripada proses reka bentuk. Jurutera juga mesti mengesahkan keserasian kabel, konfigurasi pecah keluar, jarak capaian pautan, dan sokongan titik akhir. Dengan menilai kedua-dua protokol rangkaian dan saling sambungan fizikal, pasukan pusat data boleh membina infrastruktur 200G yang boleh diskalakan dengan andal untuk beban kerja AI, HPC, dan perusahaan.