NVIDIA ConnectX-8 C8180 и C8240: архитектурные различия и выбор SuperNIC для ИИ/HPC

По мере роста сложности платформ для вычислений в области ИИ и высокопроизводительных вычислений крупномасштабные развертывания на множестве узлов создают дополнительную нагрузку на сети центров обработки данных. Сетевая инфраструктура должна развиваться вместе с вычислительной архитектурой, чтобы обеспечить эффективное соединение GPU и максимально сократить издержки на перемещение данных. ConnectX-8 SuperNIC от NVIDIA — это интеллектуальная сетевая карта (NIC) нового поколения с пропускной способностью до 800 Gbps, созданная для устранения растущих проблем, связанных с экстремальной пропускной способностью и узкими местами по задержке в современных кластерах ИИ.

В этой статье будут проанализированы два Сетевая карта ConnectX-8 модели с одинаковой базовой конфигурацией оборудования и программного обеспечения, но с различными вариантами распределения портов и скоростей. Даёт всесторонний обзор их технических различий и сценариев применения, помогая командам по проектированию сетевой архитектуры принимать решения, лучше соответствующие их реальным потребностям в сетевых технологиях.

Архитектура ConnectX-8: специально разработана для масштабирования связей GPU–GPU

Учитывая строгие требования гипермасштабируемых кластеров AI и HPC к экстремальной пропускной способности, задержкам на длинном хвосте и вычислительной нагрузке, NVIDIA ConnectX-8 SuperNIC обеспечивает высокоскоростное подключение по протоколам InfiniBand и Ethernet со скоростью до 800 Gbps на карту, создавая общий коммуникационный слой с низкой задержкой для распределённого обучения больших моделей и высокоплотного инференса.

И C8180, и C8240 используют стандартный интерфейс PCIe 6.0 x16 на аппаратном уровне. Такая конфигурация обеспечивает высокую двунаправленную пропускную способность между хостом и NIC (до 128GB/s), позволяя полностью загрузить сетевые порты 800 G без узких мест на стороне хоста при передаче данных. Все модели этой серии используют унифицированный механизм аппаратного ускорения: они полностью поддерживают аппаратную разгрузку RDMA и RoCE, GPUDirect RDMA без копирования и GPUDirect Storage (GDS), а также включают программируемый механизм управления перегрузками на основе телеметрии в реальном времени; в среде InfiniBand они также могут выполнять вычисления непосредственно в сети на сетевых узлах с помощью технологии NVIDIA SHARP.

Передавая выполнение коллективных коммуникационных операций, таких как All-Reduce, синхронизация барьеров и передача данных хранилища NVMe-oF, непосредственно кремнию сетевой карты, ConnectX-8 эффективно устраняет нагрузку на обработку сетевого трафика, приходящуюся на CPU и GPU хоста, исключает джиттер пакетов и максимально увеличивает фактическую вычислительную мощность кластера’. Как в стандартном форм-факторе карты PCIe, так и в спецификации OCP высокой плотности семейство ConnectX-8 обеспечивает высокодетерминированное соединение с низким джиттером для инфраструктуры вычислений ИИ следующего поколения.

C8180 и C8240: прямое сравнение

Хотя семейство SuperNIC NVIDIA ConnectX-8 использует единую базовую архитектуру чипа, серия включает различные аппаратные конфигурации для размещения в серверных стойках разных размеров и поддержки сетевых топологий различных типов.

C8180 и C8240 — две флагманские модели, наиболее широко используемые в крупномасштабных кластерах ИИ и HPC. Основные различия между ними заключаются в сочетаниях количества и скорости портов, а также в проектировании IP на уровне физических портов межсоединения со стороны хоста. Понимание этих различий с учётом плотности размещения оборудования в стойке и характера реального трафика поможет подготовить оптимальную вычислительную сеть.

Ниже приведено основное сравнение характеристик двух моделей:

NVIDIA ConnectX-8 C8180 и C8240: сравнение аппаратных различий и руководство по выбору фабрики ИИ

Архитектура ConnectX-8: кремниевая и сетевая топология

При сравнении ConnectX-8 C8180 (PN: 900-9x81e-00ex-st0) и C8240 (PN: 900-9x81q-00cn-st0) можно в значительной степени не учитывать базовый кремний, поскольку они построены на одной и той же платформе чипов. Весь процесс выбора направлен на обеспечение совместимости физических типов портов и их скоростей с сетью вашего центра обработки данных. Их интерфейсы настолько различаются физически, что требуют разных путей развертывания. Это справедливо для кластеров обучения ИИ, традиционных суперкомпьютеров HPC и корпоративных сетей Ethernet с высокой пропускной способностью.

Конфигурация портов и пропускная способность InfiniBand (XDR и NDR)

Наиболее очевидное различие заключается в пропускной способности и вариантах разветвления. C8180 оснащён одним разъёмом OSFP, обеспечивающим подключение InfiniBand XDR со скоростью 800 Гбит/с сразу после установки. Если ваши задачи обучения больших моделей в значительной степени зависят от коллективного обмена данными между узлами, например All-Reduce, где критически важно минимизировать задержку на хвосте распределения, то максимальная скорость 800G на одном канале — именно то, что вам нужно. Кроме того, устройство обладает гибкими возможностями: с помощью разветвительного кабеля этот единственный порт можно разделить на 2x400GbE или 8x100G в соответствии с конфигурацией портов коммутатора следующего уровня.

Однако у C8240 таких сложностей нет. Благодаря двум портам QSFP112 устройство сразу готово к подключению к топологиям dual 400GbE или NDR/HDR InfiniBand. Даже если 400G NDR — предел производительности InfiniBand, это по-прежнему наиболее простой вариант plug-and-play для коммутаторов ToR, которым нужны два восходящих канала, и он позволяет избежать сложностей с управлением нестандартными кабелями breakout.

Физические характеристики: компоновка печатной платы и ограничения по тепловыделению

Помимо портов, при работе в условиях ограниченного пространства корпуса 1U есть физические особенности, которые имеют большое значение.’  Обе карты выполнены в стандартном форм-факторе PCIe 6.0 x16 Height Half Length (HHHL) и оснащены аппаратной функцией Secure Boot,  однако разные разъёмы меняют компоновку внутренней печатной платы. C8180 немного шире (68.50 mm против 66.40 mm), но конструкция с одним разъёмом позволяет сделать внутреннюю высокоскоростную трассу чрезвычайно короткой— — всего 75 mm (2.95 inches). Чтобы разместить рядом два разъёма QSFP112, у более компактной C8240 длина внутренней трассы увеличена до 140 mm (5.51 inches).

If вы работаете с жесткими тепловыми ограничениями в сервере высокой плотности, различия в физических характеристиках плат действительно имеют значение. Из-за них приходится заново продумывать, как воздух циркулирует непосредственно у материнской платы. Меняется даже повседневное управление O&M на передней панели. C8180 оснащен отдельной конструкцией с двумя светодиодами на единственном порту, что позволяет с первого взгляда различать скорость соединения и сигналы об ошибках. В C8240 из-за ограниченного пространства на передней панели для экономии места используется один двухцветный светодиод на порт.

Сценарии установки в стойку: выбор подходящего SuperNIC

В конечном счёте выбрать SuperNIC для установки несложно. Используйте C8180, если архитектуре требуется одношинная топология со сверхвысокой пропускной способностью, например вычислительная сеть 800G XDR или высокоскоростное хранилище RDMA, либо если вам нужна возможность разделить один порт 800G на несколько подключений ниже по сети. 

С другой стороны, C8240 выбирают, когда необходима встроенная сеть с двумя физическими портами. Он предназначен для архитектур, которым требуется высокая доступность, резервирование активный-резервный или агрегация LACP (либо и то и другое) между полностью независимыми сетевыми плоскостями. Кроме того, C8240 легко интегрируется в существующую среду, если в вашем центре обработки данных имеется большой запас оптических модулей QSFP112 и кабелей DAC.

Заключение

C8180 и C8240 построены на одном и том же чипе ConnectX-8 и обеспечивают максимальную пропускную способность и полный набор аппаратных функций разгрузки, необходимых современным кластерам ИИ и HPC. Выбор между ними зависит исключительно от требований к топологии сети: максимальная пропускная способность одного соединения (800G XDR InfiniBand) или два физических порта из коробки для резервирования с подключением к двум коммутаторам либо для нативных архитектур 400GbE Ethernet.

Для решения задач соединения в вычислительных сетях следующего поколения QSFPTEK предлагает широкий ассортимент продукции—, включая оптические модули 800G/400G, медные кабели DAC, оптические кабели AOC и разветвительные компоненты—, а также техническую поддержку, помогающую архитектурным командам устранить узкие места в каналах фабрики и полностью раскрыть вычислительный потенциал кластеров GPU. Изучите высокоскоростные решения для соединения от QSFPTEK’, чтобы выбрать оптимальную комбинацию компонентов для сетевой инфраструктуры.