ConnectX-7 и ConnectX-8: сравнение 400G и 800G для ИИ-кластеров

NVIDIA ConnectX-7 и ConnectX-8 ориентированы на высокоскоростные сети для сред ИИ, HPC и центров обработки данных, но предназначены для разных этапов развития сетей. ConnectX-7 поддерживает подключение 400G NDR и 400GbE, тогда как ConnectX-8 расширяет платформу до 800Gb/s XDR InfiniBand и гибких конфигураций 400GbE. Одних только скоростей портов недостаточно для полной картины. При выборе поколения, подходящего для кластера ИИ, также важны подключение PCIe, сетевой протокол, форм-фактор трансивера и требования рабочей нагрузки.

Что такое NVIDIA ConnectX-7 и ConnectX-8? 

Что такое интеллектуальная сетевая карта NVIDIA ConnectX-7? 

NVIDIA ConnectX-7 представляет собой высокоскоростной сетевой адаптер, предназначенный для сред InfiniBand и Ethernet. ConnectX-7 выпускается в различных конфигурациях, включая модели с одним портом 400Gb/s и интерфейсами OSFP или QSFP112, в зависимости от конкретного адаптера. В документации NVIDIA перечислены конфигурации с одним портом, поддерживающие NDR 400Gb/s и 400GbE, а также другие конфигурации с более низкой скоростью. 

ConnectX-7 также поддерживает PCIe Gen5 x16, обеспечивая необходимый хост-интерфейс для высокоскоростной передачи данных между сетевым адаптером и сервером. Благодаря своим возможностям он подходит для обучения ИИ, высокопроизводительных вычислений, облачной инфраструктуры и других задач, где важны низкая задержка и высокая пропускная способность.

Что такое NVIDIA CX8?

NVIDIA ConnectX-8 — это следующее поколение платформы ConnectX, предназначенное для сетей ИИ и центров обработки данных с более высокой пропускной способностью. По данным NVIDIA, SuperNIC ConnectX-8 поддерживают общую пропускную способность сети до 800Gb/s.

Например, C8180 может работать с одним портом InfiniBand XDR на 800Gb/s или быть настроен как два порта 400GbE. Это различие важно: 800Gb/s XDR InfiniBand и 2×400GbE — поддерживаемые конфигурации, а не один порт Ethernet 800GbE. ConnectX-8 поддерживает подключение PCIe Gen6 и обратно совместим с PCIe Gen5.

ConnectX-7 и ConnectX-8: в чем ключевые различия?

Наиболее заметное различие между двумя поколениями — пропускная способность сети, но при обновлении также меняются базовый интерфейс хоста и архитектура сети.

Пропускная способность сети: 400G и 800G

ConnectX-7 хорошо подходит для сетевых архитектур 400G. Однопортовый адаптер ConnectX-7 может поддерживать 400GbE или NDR 400Gb/s, в зависимости от модели и конфигурации. ConnectX-8 повышает предел пропускной способности до 800Gb/s в конфигурации XDR InfiniBand. NVIDIA C8180 также можно настроить как два порта 400GbE, обеспечивая гибкость для различных сетевых архитектур.

Для рабочих нагрузок ИИ переход с 400G на 800G может обеспечить до двукратной пропускной способности сети на порт для обмена данными между GPU. По мере увеличения числа GPU и роста eastwest-трафика через вычислительные узлы из-за распределенного обучения этот сценарий становится все более актуальным.

NDR и XDR InfiniBand

ConnectX-7 поддерживает InfiniBand NDR 400Gb/s с использованием четырех линий по 100Gb/s. ConnectX-8 добавляет InfiniBand XDR 800Gb/s с использованием четырех линий по 200Gb/s. Эта более высокая скорость на линию — одна из ключевых причин, по которым ConnectX-8 обеспечивает подключение XDR 800Gb/s. Для крупных кластеров обучения ИИ высокая пропускная способность помогает снизить сетевые ограничения при интенсивных распределённых нагрузках.

PCIe Gen5 и Gen6

ConnectX-7 использует PCIe Gen5 x16 в поддерживаемых высокоскоростных конфигурациях адаптера. ConnectX-8 поддерживает PCIe Gen6 x16 и также обратно совместим с PCIe Gen5. Интерфейс хоста имеет значение, поскольку высокоскоростной сетевой адаптер должен обеспечивать достаточную пропускную способность между адаптером и сервером. Поэтому переход на сетевой интерфейс 800Gb/s необходимо рассматривать с учетом серверной платформы, конфигурации PCIe, архитектуры GPU и общей конструкции системы.

Как ConnectX-8 обеспечивает работу кластеров ИИ с пропускной способностью 800G?

NVIDIA ConnectX-8 и сети 800G для ИИ

Главное преимущество ConnectX-8 для инфраструктуры ИИ следующего поколения — это возможность поддерживать более высокую пропускную способность сети при гибкой конфигурации портов. C8180 поддерживает конфигурацию 800Gb/s XDR InfiniBand, а также может быть настроен на два порта 400GbE. Это делает ConnectX-8 особенно актуальным для кластеров ИИ, где сетевой трафик между GPU и серверами может стать узким местом. Сеть с более высокой скоростью может обеспечить большую пропускную способность на высокоскоростной порт, что в некоторых архитектурах кластеров помогает упростить масштабирование сети.

ConnectX-8 для крупномасштабного обучения ИИ

Масштабное обучение ИИ в значительной степени зависит от взаимодействия между GPU. Такие операции, как синхронизация градиентов и коллективный обмен данными, могут создавать значительный сетевой трафик в распределенном кластере.

По мере роста производительности графических процессоров пропускная способность сети может становиться все более важным фактором в крупномасштабных кластерах ИИ. ConnectX-8 разработан для таких сред: он обеспечивает подключение 800Gb/s XDR, поддержку PCIe Gen6 и сетевые функции, предназначенные для повышения производительности кластеров ИИ.

Это не означает, что каждому кластеру ИИ требуется 800G. Фактическая польза зависит от количества GPU, рабочей нагрузки, топологии сети и того, приближается ли существующая сеть к пределу пропускной способности.

Когда ConnectX-7 всё ещё достаточно для кластеров ИИ?  

Для многих сетей ИИ и HPC на 400G ConnectX-7 по-прежнему остается подходящим вариантом. Для кластеров, где уже внедряется 400G NDR или 400GbE и рабочие нагрузки не используют всю эту пропускную способность, переход на ConnectX-8 может не дать достаточной дополнительной ценности, чтобы оправдать полное обновление инфраструктуры.

Это также может быть целесообразно, если серверная платформа, коммутаторы, оптика или кабельная система рассчитаны на 400G. В таких случаях ConnectX-7 обеспечивает необходимую пропускную способность без дополнительных требований, связанных с развертыванием 800G.

Какие трансиверы и кабели совместимы с ConnectX-7 и ConnectX-8?

Трансиверы и кабели 400G для ConnectX-7   

В высокоскоростных конфигурациях ConnectX-7 можно использовать QSFP112 или OSFP в зависимости от модели адаптера. Например, NVIDIA описывает адаптеры ConnectX-7 с однопортовыми конфигурациями QSFP112 и OSFP, поддерживающими подключение 400Gb/s. В зависимости от сетевой архитектуры для подключения сетевой карты к совместимым коммутаторам можно использовать оптические трансиверы 400G, кабели DAC и AOC, а также волоконно-оптическую кабельную разводку.

Трансиверы и кабели 800G для ConnectX-8

В моделях ConnectX-8 C8180 для конфигурации 800Gb/s используется один сетевой разъём OSFP, а в моделях C8240 — два порта QSFP112, каждый из которых поддерживает скорость до 400GbE.  Таким образом, при развертывании 800G необходимо учитывать не только оптическую скорость, но и физический интерфейс, а также конкретную модель ConnectX-8. Совместимые оптические модули 800G, DAC, AOC и волоконно-оптическую инфраструктуру следует выбирать с учетом сетевого адаптера, коммутатора, расстояния и сетевого протокола.

Особенности совместимости ConnectX-7 и ConnectX-8

Скорость — не единственный критерий. При выборе трансивера или кабеля следует проверить модель NIC, тип порта, поддерживаемый протокол, длину волны оптического сигнала, скорость передачи данных, дальность передачи, тип разъёма и интерфейс на стороне коммутатора. Например, не следует автоматически считать, что решение 800G OSFP для ConnectX-8 C8180 будет работать со всеми адаптерами ConnectX-8 или ConnectX-7. В документации NVIDIA для разных моделей адаптеров указаны разные интерфейсы и конфигурации.

ConnectX-7 и ConnectX-8: что выбрать?  

Выберите ConnectX-7 для сетей ИИ и HPC со скоростью 400G

ConnectX-7 — отличный выбор, если сетевая архитектура построена на базе 400G. Он подходит для существующих сетей NDR, сред 400GbE и кластеров AI или HPC, в которых рабочие нагрузки эффективно обрабатываются с помощью подключения 400Gb/s.

Это также может быть более практичным вариантом, если обновление сети в противном случае потребовало бы замены коммутаторов, трансиверов, кабелей и серверных платформ.

Выберите ConnectX-8 для ИИ-кластеров 800G

ConnectX-8 лучше подходит для новых высокоскоростных инфраструктур ИИ, способных использовать подключение 800Gb/s XDR. Особенно актуален он для крупномасштабных сред обучения ИИ, где ожидается значительный рост сетевого трафика между графическими процессорами и серверами. Однако решение следует принимать с учетом всей сетевой архитектуры, а не только пропускной способности NIC. Серверы, коммутаторы, интерфейсы PCIe, трансиверы и кабели должны поддерживать запланированную конфигурацию.

Заключение

ConnectX-7 и ConnectX-8 представляют разные этапы развития высокоскоростных сетей для кластеров ИИ и HPC. ConnectX-7 обеспечивает подключение со скоростью до 400Gb/s и хорошо подходит для многих существующих развертываний 400G. ConnectX-8 расширяет платформу поддержкой InfiniBand XDR со скоростью 800Gb/s, поддержкой PCIe Gen6 и гибкими конфигурациями портов для инфраструктуры ИИ следующего поколения.

Для уже развернутой сети 400G ConnectX-7 по-прежнему может обеспечивать оптимальный баланс между производительностью и требованиями к инфраструктуре. Для нового крупномасштабного ИИ-кластера, спроектированного для сети 800G, ConnectX-8 открывает путь к увеличению пропускной способности сети. В обоих случаях сетевую карту следует выбирать вместе с соответствующими коммутаторами, трансиверами, кабелями и серверными интерфейсами.