Bagaimanakah Rangkaian Pusat Data AI Berfungsi?

Apakah Rangkaian Pusat Data AI?

Rangkaian pusat data AI merujuk kepada infrastruktur rangkaian di pusat data yang menyokong fungsi kecerdasan buatan (AI). Rangkaian yang menyokong fungsi ini memerlukan kebolehskalaan rangkaian yang lebih tinggi, prestasi tinggi dan kependaman rendah berbanding rangkaian terdahulu. Beban kerja AI dan pembelajaran mesin (ML) lebih mencabar berbanding tugas rangkaian biasa, terutamanya semasa fasa latihan AI yang intensif.

Komunikasi pantas dan lancar InfiniBand antara pelayan dan sistem storan menjadikan teknologi rangkaian ini teknologi proprietari yang popular untuk pengkomputeran berprestasi tinggi (HPC) dan rangkaian latihan AI. Selepas itu, Ethernet mendapat daya tarikan yang ketara dalam pasaran rangkaian pusat data AI sebagai penyelesaian teknologi alternatif terbuka dan mungkin menjadi teknologi dominan dalam perkembangan masa hadapan.

Terdapat beberapa sebab bagi peningkatan tumpuan terhadap Ethernet dalam rangkaian pusat data AI, dengan kecekapan operasi dan kawalan kos menjadi sebab pertama dan paling ketara. Dari segi pengurusan teknikal, Ethernet kini mempunyai kumpulan besar jurutera rangkaian yang mampu membina dan mengurus rangkaian, manakala kepakaran dalam rangkaian InfiniBand proprietari adalah lebih terhad. Kedua, kawalan kos juga merupakan sebab utama. Bagi peralatan pusat data AI dengan keadaan semasa Ethernet 400Gb, harga keseluruhannya jauh lebih murah berbanding penyelesaian InfiniBand, peralatan InfiniBand dan alat pengurusan diperoleh terutamanya melalui Nvidia, manakala Ethernet mempunyai akses yang luas kepada alat pengurusan rangkaian.

Bagaimanakah Rangkaian Pusat Data AI Berfungsi?

Selain GPU digunakan dalam jumlah yang besar untuk memenuhi permintaan pengkomputeran besar-besaran pusat data AI dan oleh itu kos keseluruhan meningkat, komponen rangkaian pusat data AI juga perlu meningkatkan penggunaan GPU mereka, yang bermaksud komponen tersebut perlu mempunyai rangkaian yang lebih cekap. Rangkaian Ethernet ialah teknologi terbuka yang telah terbukti dan merupakan penyelesaian yang sesuai untuk rangkaian pusat data AI yang boleh direka bentuk khusus mengikut keperluan rangkaian beban kerja AI. Seni bina rangkaiannya dipertingkatkan melalui pengurusan kesesakan, pengimbangan beban dan kependaman rendah, yang mengoptimumkan masa penyelesaian kerja (JCT). Pengurusan dan automasi yang dipermudah juga menyumbang kepada kebolehpercayaan rangkaian dan prestasi yang konsisten.

Reka Bentuk Fabric

Rangkaian Pusat Data AI boleh menggunakan pelbagai reka bentuk seni bina, tetapi dicadangkan agar seni bina Clos tanpa sekatan any-to-any dipilih. Reka bentuk ini mengoptimumkan rangka kerja latihan dengan memanfaatkan kelajuan rangkaian konsisten 400 Gbps (berkemungkinan meningkat kepada 800 Gbps) dari NIC ke leaf dan backbone. Berdasarkan saiz GPU dan saiz model, struktur dua peringkat, tiga peringkat tanpa sekatan atau struktur tiga peringkat, lima peringkat tanpa sekatan boleh dilaksanakan.

Kawalan Aliran dan Pengelakan Kesesakan

Selain kapasiti Fabric, pertimbangan reka bentuk lain adalah penting untuk meningkatkan kebolehpercayaan dan kecekapan Fabric secara keseluruhan. Pertimbangan ini termasuk sambungan fabric yang bersaiz sesuai dengan bilangan pautan yang optimum serta keupayaan untuk menyemak dan membetulkan ketidakseimbangan trafik bagi mengelakkan kesesakan dan kehilangan paket. Explicit Congestion Notification (ECN), Data Center Quantified Congestion Notification (DCQCN) dan Priority-Based Flow Control menangani ketidakseimbangan trafik untuk memastikan penghantaran data tanpa kehilangan.

Pengimbangan beban dinamik dan adaptif digunakan pada suis untuk mengurangkan kesesakan data. Pengimbangan beban dinamik dan pengagihan semula trafik secara setempat pada suis menghasilkan pengagihan trafik yang sekata. Pengimbangan beban adaptif memantau pemajuan trafik dan jadual pemindahan seterusnya untuk mengenal pasti ketidakseimbangan serta mengarahkan trafik menjauhi laluan yang sesak.

ECN memaklumkan aplikasi lebih awal apabila kesesakan data tidak dapat dielakkan. Pada masa ini, leaf dan spine dikemas kini dengan paket yang didayakan ECN untuk memaklumkan penghantar tentang kesesakan tersebut, membolehkan penghantar memperlahankan penghantaran bagi mengelakkan kehilangan paket. Jika penghantar tidak bertindak balas dengan segera, Priority-based Flow Control (PFC) membolehkan penerima dan penghantar Ethernet berkongsi maklum balas tentang ketersediaan penimbal. Akhir sekali, semasa kesesakan, suis leaf dan spine menjeda atau mengehadkan trafik melalui pautan tertentu untuk mengurangkan kesesakan dan mencegah kehilangan paket, sekali gus membolehkan penghantaran tanpa kehilangan bagi kelas trafik tertentu.

Skala dan Prestasi

Penyelesaian Ethernet telah menjadi piawaian terbuka pilihan untuk mengendalikan aplikasi HPC dan AI. Melihat ke masa hadapan (800GbE dan Data Center Bridging (DCB)), sifat Ethernet yang lebih pantas, lebih dipercayai dan berskala menjadikannya mampu mengendalikan keperluan daya pemprosesan data tinggi dan kependaman rendah bagi aplikasi AI yang kritikal kepada misi.

Automasi

Automasi boleh membantu penyelesaian rangkaian pusat data AI melengkapkan gelung akhir dengan berkesan; tidak semua automasi dicipta sama, dan untuk merealisasikan nilai keseluruhan kapasiti rangkaian, perisian automasi perlu menyediakan operasi yang mengutamakan pengalaman. Ia boleh menggunakan bahasa Inggeris dalam mereka bentuk, menggunakan dan mengurus pusat data AI. Ia membolehkan reka bentuk dan penggunaan pusat data AI yang boleh diulang serta disahkan secara berterusan, selain menghapuskan ralat yang disebabkan oleh manusia, ia juga boleh memanfaatkan telemetri dan data trafik untuk mengoptimumkan prestasi, memudahkan penyelesaian masalah kegagalan secara proaktif dan mengelakkan gangguan rangkaian.

Mengapa Anda Memerlukan Rangkaian Pusat Data AI untuk Memenuhi Permintaan Dipacu AI?

Rangkaian pusat data AI memenuhi keperluan yang didorong oleh AI generatif dan model AI pembelajaran mendalam berskala besar. Pembangunan model AI melibatkan tiga fasa:

Fasa 1: Penyediaan Data - Mengumpul dan menyusun set data untuk melatih model AI.

Fasa 2: Latihan AI - Latih model AI dengan mendedahkannya kepada sejumlah besar data supaya ia mempelajari corak dan hubungan untuk membangunkan kecerdasan.

Fasa 3: Inferens AI - Menggunakan model terlatih pada senario dunia sebenar untuk membuat ramalan atau keputusan berdasarkan data baharu yang tidak diketahui.

Walaupun Peringkat 3 biasanya memanfaatkan pusat data dan rangkaian awan sedia ada, Peringkat 2 (latihan AI) memerlukan sumber data dan pengkomputeran yang besar untuk menyokong proses pembelajaran berulang. Unit Pemprosesan Grafik (GPU) biasanya digunakan untuk pembelajaran dan inferens AI, selalunya dalam konfigurasi kelompok bagi meningkatkan kecekapan. Walau bagaimanapun, penskalaan kelompok boleh meningkatkan kos, sekali gus menekankan kepentingan rangkaian pusat data AI yang tidak menjejaskan kecekapan kelompok.

Melatih model besar memerlukan penyambungan sejumlah besar pelayan GPU, kadangkala berpuluh-puluh ribu, dengan kos lebih daripada $400,000 setiap pelayan pada tahun 2023. Oleh itu, mengoptimumkan masa penyelesaian tugas dan meminimumkan kependaman ekor, iaitu apabila beban kerja AI yang tidak normal memperlahankan penyelesaian tugas keseluruhan, adalah penting untuk memaksimumkan pulangan pelaburan GPU. Dalam konteks ini, rangkaian pusat data AI mestilah boleh dipercayai dan mengelakkan kehilangan kecekapan kelompok.

Soalan Lazim tentang Rangkaian Pusat Data AI 

Apakah Masalah yang Diselesaikan oleh Rangkaian Pusat Data AI?

Kecerdasan Buatan mempunyai permintaan yang sangat tinggi terhadap jumlah data dan pengkomputeran sumber yang besar yang diperlukan untuk AI generatif dan pembelajaran mendalam bagi menyokong proses berulang pembangunan model, apabila model AI mempelajari dan menambah baik parameternya daripada data yang dikumpulkannya secara berterusan. Pemproses grafik amat sesuai untuk beban kerja pembelajaran dan inferens AI, tetapi selain membina kluster GPU, pusat data yang besar perlu meningkatkan kecekapan model AI apabila kluster mereka berkembang, suatu proses yang turut meningkatkan kos. Oleh itu, amat penting untuk menggunakan rangkaian pusat data AI yang tidak menjejaskan kecekapan kluster.

Ethernet vs. InfiniBand: Yang manakah lebih baik untuk rangkaian pusat data AI?

Walaupun InfiniBand, teknologi proprietari, telah membawa kemajuan dan inovasi kepada teknologi AI, penggunaan peralatan InfiniBand adalah mahal, tidak dapat ditawarkan pada harga yang lebih rendah dalam pasaran bekalan dan permintaan yang kompetitif, serta perlu dipadankan dengan juruteknik rangkaian proprietari. Sebaliknya, teknologi Ethernet ialah teknologi rangkaian yang paling banyak digunakan di dunia selepas teknologi IP dan juga dapat memenuhi keperluan daya pemprosesan data tinggi serta kependaman rendah aplikasi AI, dengan contoh 800GbE teknologi Ethernet kini tersedia bersama keupayaan Data Center Bridging (DCB) yang dipertingkatkan. Bagi teknologi InfiniBand, yang dibekalkan terutamanya melalui NVIDIA, pelbagai alat pengurusan yang lebih luas boleh digunakan untuk rangkaian Ethernet berbanding teknologi InfiniBand. Kesimpulannya, fabrik Ethernet menjadi pilihan ideal untuk trafik AI berkeutamaan tinggi dan kritikal kepada misi.