Выбор межсоединений 200G: InfiniBand HDR в сравнении с Ethernet

При рассмотрении архитектур современных центров обработки данных и кластеров для обучения ИИ сетевые инженеры часто сталкиваются с важным выбором: InfiniBand HDR или 200GbE Ethernet. Одинаковая скорость передачи данных 200G не означает, что эти две технологии работают одинаково. И InfiniBand HDR, и 200GbE Ethernet поддерживают соединения 200G QSFP56 с использованием четырех линий 50G PAM4. В зависимости от платформы и характеристик кабелей эти системы могут использовать пассивные кабели DAC или активные оптические кабели для соединений на короткие и средние расстояния. Однако физическая совместимость разъемов не гарантирует автоматически совместимость протоколов.

Транспортная архитектура и управление потоком

Чтобы понять, почему канал 200G ведет себя по-разному в зависимости от используемого протокола, необходимо рассмотреть механизмы транспорта и управления потоком этих протоколов. Независимо от выбранного протокола успешный ввод в эксплуатацию любого канала 200G с высокой плотностью подключений зависит от надежной физической среды передачи, например от применения кабелей DAC 200G для коротких соединений с коммутаторами в верхней части стойки.

Ethernet с RoCEv2: Ethernet по своей сути является универсальной технологией коммутации пакетов. RoCEv2 передает транспортный трафик RDMA по Ethernet с использованием инкапсуляции UDP/IP. Это позволяет приложениям RDMA работать в маршрутизируемых IP-сетях, сохраняя значительную часть транспортной модели RDMA. Однако при этом возникают дополнительные аспекты сетевого уровня, которые необходимо учитывать, включая IP-маршрутизацию, управление перегрузками и особенности доставки пакетов. Обычный Ethernet не предоставляет такого же управления потоком на основе кредитов на уровне канала, какое используется в InfiniBand. При развертывании RoCEv2 в средах, чувствительных к задержкам, операторы сетей обычно сочетают такие механизмы, как управление потоком на основе приоритетов и явное уведомление о перегрузке, с алгоритмами управления перегрузками, такими как DCQCN. Эти функции могут помочь снизить потери пакетов при перегрузке, но их эффективность во многом зависит от правильной настройки, управления буферами и организации трафика.

InfiniBand HDR: InfiniBand изначально разрабатывался как коммутируемая фабрика для кластерных вычислений с низкой задержкой и высокой пропускной способностью. Он использует управление потоком на основе кредитов для регулирования трафика на уровне канала: перед передачей данных отправитель должен иметь достаточное количество кредитов, указывающих на доступное место в буфере получателя. При этом централизованный Subnet Manager отвечает за обнаружение компонентов фабрики, настройку и управление путями. Такая архитектура помогает предотвращать переполнение буферов получателя из-за перегрузки и снижает зависимость от настройки PFC, характерной для Ethernet. Однако она не гарантирует устранения всех видов ошибок пакетов, перегрузок или повторных передач во всей фабрике.

RDMA и производительность кластеров ИИ

Современное обучение ИИ, особенно обучение больших языковых моделей, в значительной степени зависит от коллективных коммуникационных операций, таких как All-Reduce, All-Gather и Reduce-Scatter. Эти операции позволяют GPU, распределенным по нескольким серверам, обмениваться данными и синхронизировать параметры модели или градиенты во время обучения. В ходе коллективных операций задержки обмена данными на отдельных узлах могут увеличивать время завершения итерации обучения. Когда синхронизация становится узким местом, более быстрым узлам может приходиться ждать более медленных участников, что снижает общую загрузку GPU.

RDMA играет ключевую роль в обеих архитектурах. И InfiniBand, и RoCEv2 поддерживают RDMA, позволяя сетевому адаптеру передавать данные напрямую между зарегистрированными областями памяти удаленных систем с минимальным участием CPU хоста. Сокращая количество копирований данных и объем обработки в ядре на пути передачи данных, RDMA помогает снизить нагрузку на CPU и повысить эффективность обмена данными для высокопроизводительных рабочих нагрузок.

InfiniBand предоставляет специально разработанную транспортную архитектуру и архитектуру фабрики для высокопроизводительных вычислений. RoCEv2 также может обеспечивать высокую производительность RDMA по Ethernet, но достижение стабильных результатов при масштабировании требует тщательного внимания к управлению перегрузками, управлению очередями и настройке сети.

Сравнение 200G InfiniBand HDR и 200GbE RoCEv2

Выбор подходящего межсоединения 200G

Выбор между этими двумя технологиями требует комплексной оценки рабочих нагрузок ваших приложений, существующей инфраструктуры, а также эксплуатационного опыта и технической зрелости вашей команды.

Для крупномасштабных кластеров AI и HPC:

Если ваша основная рабочая нагрузка связана с обучением крупных нейронных сетей на масштабных кластерах GPU, где задержка синхронизации между узлами напрямую влияет на время обучения, InfiniBand предлагает сетевую архитектуру, специально разработанную для таких сценариев. Механизм управления потоком на основе кредитов регулирует передачу данных на канальном уровне, а централизованный Subnet Manager обеспечивает единое управление сетевыми конфигурациями и путями передачи данных. В крупномасштабных средах с горизонтальным масштабированием централизованное управление подсетями и управление потоком на основе кредитов на канальном уровне в InfiniBand помогают упростить администрирование сети, снижая потребность в сложной настройке PFC и регулировке перегрузок, характерных для Ethernet. Однако перед развертыванием следует оценить, насколько ваша команда знакома с управлением Subnet Manager, проанализировать существующую инфраструктуру коммутаторов и учесть будущие требования к масштабированию кластера.

Для конвергентных сред центров обработки данных:

Если ваша инфраструктура должна поддерживать разнообразные рабочие нагрузки, такие как виртуализация общего назначения, контейнеризированные микросервисы и высокопроизводительное блочное хранение данных, решение 200GbE Ethernet с использованием RoCEv2 обеспечивает большую гибкость. Оно легко интегрируется с существующими корпоративными технологиями маршрутизации и виртуализации сетей, такими как BGP и EVPN-VXLAN. При этом развертывание RoCEv2 требует тщательного планирования QoS и управления перегрузками. Необходимо убедиться, что коммутаторы вашего центра обработки данных поддерживают маркировку ECN и PFC, а также проверить, что сетевые адаптеры и сетевая инфраструктура в целом правильно настроены для работы механизмов управления перегрузками, таких как DCQCN. Кроме того, ваша эксплуатационная команда должна установить четкие стандарты настройки и проверки, уделяя особое внимание приоритизации трафика, пороговым значениям заполнения буферов и поведению сети при перегрузках.

Особенности выбора кабелей DAC и AOC

В сети центра обработки данных 200G выбор между DAC и AOC во многом определяется длиной соединения, требованиями к прокладке кабелей и совместимостью с платформой. Соединения физического уровня играют важнейшую роль в сохранении целостности сигнала на линиях 200G.

Пассивные кабели QSFP56 DAC: Поскольку пассивные кабели DAC используют прямые электрические соединения вместо оптических трансиверов и волоконно-оптических линий, они представляют собой простой и экономичный вариант для межсоединений 200G малой дальности. Однако при проектировании линий 200G необходимо учитывать длину кабеля, вносимые потери, целостность сигнала и требования к FEC, зависящие от платформы. В поддерживаемых конфигурациях порт 200G QSFP56 можно разделить на две линии 100G с помощью совместимого разветвительного кабеля. Для этого исходный порт, подключаемые интерфейсы и сетевые устройства должны поддерживать одинаковый режим разветвления и схему распределения каналов.

Активные оптические кабели (AOC): Для соединений большей протяженности, когда длина пассивного медного кабеля или ограничения его прокладки становятся сдерживающим фактором, активные оптические кабели могут служить практичной альтернативой. Для развертываний InfiniBand HDR, AOC также доступны различной длины и в различных конфигурациях разветвления, включая варианты 200G на два 100G (обратите внимание, что эти варианты разветвления зависят от поддержки конкретных протоколов и устройств). Такие кабельные сборки могут упростить подключение, когда медные кабели не подходят или требуются более длинные кабельные трассы. Инженерам по-прежнему следует проверять поддерживаемый протокол, дальность соединения и совместимость конечных устройств.

Заключение

Согласование сетевой архитектуры с требованиями рабочих нагрузок — лишь часть процесса проектирования. Инженеры также должны проверять совместимость кабелей, конфигурации разветвления, дальность соединений и поддержку со стороны конечных устройств. Оценивая как сетевой протокол, так и физические межсоединения, команды центров обработки данных могут создавать инфраструктуры 200G, которые надежно масштабируются для рабочих нагрузок AI, HPC и корпоративных приложений.