800G до сервера: разветвлённые соединения и развёртывание сетевых карт в ИИ-кластерах

По мере роста числа коммутаторов 800G, развертываемых в кластерах ИИ, модернизация ядра сети до 800G не обязательно означает, что серверная сторона требует—или даже может напрямую поддерживать—подключение 800G с одним портом. Для серверов с PCIe 5.0 x16 пропускная способность I/Oодного слота PCIe ограничивает фактическую пропускную способность сверхскоростных сетевых карт. Поэтому подключение сетевых карт 400G или 200G к портам ToR 800G с помощью кабелей-разветвителей обеспечивает более совместимый с существующими серверными платформами вариант развертывания. В этой цепочке подключения сверху вниз необходимо учитывать не только характеристики портов коммутатора: энергопотребление оптических модулей, потери сигнала в разветвительных соединениях и фактические возможности интерфейсов серверных сетевых карт также могут стать факторами, ограничивающими производительность кластера.

Управление тепловыми ограничениями при развертывании коммутаторов ToR высокой плотности

При настройке портов 800G в режиме разветвления для подключения нескольких вычислительных узлов увеличиваются как плотность портов на передней панели, так и суммарное энергопотребление оптических модулей; поэтому управление тепловым режимом становится критически важным фактором при выборе оборудования. Это особенно актуально для полностью укомплектованных коммутаторов 1U или 2U, где энергопотребление самих оптических модулей создаёт дополнительную тепловую нагрузку на систему воздушного потока и охлаждения.

Технология кремниевой фотоники обеспечивает явные архитектурные преимущества в этом отношении. Рассмотрим QSFPTEK’s Кремниевые фотонные модули 800G Например, высокая степень интеграции основных оптических компонентов—таких как модуляторы—на кремниевом чипе позволяет модулю выдавать сигналы 8x100G PAM4, сохраняя при этом высокую энергоэффективность на бит. Такая высокая степень интеграции помогает контролировать энергопотребление модуля и тем самым снижает общую тепловую нагрузку на переднюю панель коммутатора при подключении большого числа серверных узлов 200G или 400G с помощью нескольких разветвленных соединений.

Контроль потерь в физическом канале для сигналов 112G PAM4

Подключения fan-out от портов коммутатора 800G к сетевым адаптерам серверов используют высокоплотные оптические патч-корды MPO—MPO для вертикальной прокладки внутри стойки. При скорости 112G на линию сигналы PAM4 становятся все более чувствительными к потерям в линии и качеству соединений.

В стеснённых и сложных кабельных условиях в задней части серверных шкафов патч-корды неизбежно подвергаются сжатию или изгибу с малым радиусом. Если потери в линии превышают оптический бюджет системы, коэффициент битовых ошибок (BER) на приёмнике может возрасти, что снизит стабильность соединения. Хотя затухание, вносимое отдельными коннекторами и патч-кордами в высокоскоростных сетях, может казаться незначительным, при ограниченном общем бюджете линии его необходимо строго контролировать. Для таких высокоплотных сред выбор разветвительных патч-кордов с повышенной устойчивостью к изгибам и надёжным качеством торцевых поверхностей помогает минимизировать дополнительные потери, связанные с кабельной инфраструктурой; QSFPTEK предлагает решения для кабельной разводки разработанный с учетом этих требований к высокой плотности. Для трафика обучения AI—например, RDMA/RoCEv2—that крайне чувствительного к потерям пакетов и задержкам, контроль потерь на физическом уровне необходим для обеспечения стабильности протоколов верхних уровней.

Аппаратная разгрузка и согласованная работа на стороне хоста на конечном узле сервера

После того как оптические сигналы поступают на серверную панель по коммутационным кабелям и преобразуются в электрические, обработка трафика переходит к сетевой интерфейсной карте (NIC). Обработка высокоскоростного сетевого трафика—например, 200G или 400G—без эффективных механизмов разгрузки протоколов заставила бы центральный процессор хоста тратить значительные ресурсы на обработку сетевых прерываний и перемещение данных.

Для решения этой проблемы QSFPTEK’s 200G и Сетевые адаптеры 400G отдавайте приоритет возможностям аппаратной разгрузки. В кластерах для обучения ИИ функция RDMA сетевых карт NIC’s эффективно минимизирует нагрузку на ЦП, связанную с передачей данных, тем самым снижая вычислительную нагрузку на пути передачи. Эффективная аппаратная разгрузка не только высвобождает ценные вычислительные ресурсы хост-систем, но и помогает контролировать хвостовую задержку обмена данными между узлами— — критически важный фактор для распределенных вычислительных нагрузок, зависящих от синхронизации параметров.

Заключение

По мере перехода сетей 800G на серверную сторону коммутаторы, оптические модули, разветвительные патч-корды и сетевые карты необходимо оценивать как единую сквозную линию связи. При фактическом развертывании следует проверять конфигурации разветвления портов, энергопотребление модулей, потери в линии и спецификации PCIe/NIC серверов, а не просто смотреть на скорость порта 800G коммутатора.