Подключение вашей сети InfiniBand XDR с помощью 1.6T DAC

Пассивный DAC 1.6T является базовой инфраструктурой для стоечных сетей NVIDIA Quantum-3. По мере расширения кластеров обучения AI и развития технологии InfiniBand XDR, повышающих требования к межсоединениям до 1.6T, электрические характеристики физических линий становятся критически важными для общей стабильности кластера. При такой сверхвысокой пропускной способности стоечная кабельная система должна обеспечивать строгий контроль энергопотребления и тепловыделения. Благодаря нулевому энергопотреблению и низкой задержке DAC 1.6T эффективно устраняет тепловые риски при высокой плотности, удовлетворяя строгим требованиям сетей следующего поколения к скорости и энергоэффективности.

Что такое 1.6T DAC

A 1.6T DAC — это пассивное медное межсоединение, специально разработанное для вычислительных сред следующего поколения со сверхвысокой скоростью. На физическом уровне в нем обычно используются корпуса OSFP или QSFP-DD, содержащие несколько комплектов высокопроизводительных двухосевых медных проводов.

Главное отличие от предыдущего поколения 400G/800G DAC заключается в том, что скорость передачи по одному каналу 1.6T DAC на основе модуляции PAM4 достигает 224Gbps. Это устраняет необходимость в компонентах оптоэлектронного преобразования, таких как лазеры и DSP, и вместо этого использует только физические медные провода для прямого подключения коммутатора Quantum-3 к электрическому интерфейсу сервера.

Вкратце, DAC 1.6T не только вдвое увеличивает скорость, но и представляет собой предельную форму физической передачи на сверхкоротких расстояниях и с ультравысокой плотностью в рамках архитектуры XDR.

Почему для подключения стоек ИИ требуются DAC 1.6T

В традиционных корпоративных сетях оптические модули являются основным решением для увеличения пропускной способности. Однако современные среды обучения ИИ, такие как архитектура NVIDIA DGX SuperPOD, создают значительные проблемы.

Во-первых, существуют проблемы энергопотребления и отвода тепла. Один оптический модуль 1.6T часто потребляет более 20W. Если панель ToR, полностью укомплектованная коммутаторами Quantum-3, заполнена оптическими модулями, это создаст огромное количество дополнительного тепла, увеличивая нагрузку на системы жидкостного или воздушного охлаждения.

Во-вторых, существует проблема задержки. При выполнении операции All-Reduce в крупномасштабном распределённом обучении даже задержка между узлами на уровне микросекунд может привести к простою графических процессоров. Благодаря устранению процесса фотоэлектрического преобразования сигнала DAC обеспечивают настоящий физический проход без задержки. Поэтому в пределах оптимального расстояния внутри стойки DAC являются единственным решением, позволяющим идеально сбалансировать энергопотребление, задержку и стоимость.

Как 1.6T DAC повышает эффективность кластера XDR

Во-первых, Пассивный DAC 1.6T обеспечивает передачу данных без потребления энергии внутри стойки. Он полностью использует мощность самого коммутатора и сетевой интерфейсной карты (NIC), экономя ценную энергию, которая в противном случае потреблялась бы оптическими модулями, и направляя ее целиком на вычислительную мощность GPU.

Во-вторых, это повышает возможности разгрузки высокоплотных сетей. При практическом развертывании один коммутатор Quantum-3 обычно подключается к нескольким серверам ИИ с интерфейсами 800G. Использование разветвительных DAC-кабелей 1.6T OSFP на 2x 800G OSFP/QSFP-DD позволяет идеально согласовать разницу в скорости между коммутатором и сетевыми картами, удваивая эффективность использования портов без увеличения количества физических уровней коммутатора и значительно упрощая архитектуру сети Spine-Leaf.

Наконец, сверхнизкая задержка на уровне наносекунд значительно сокращает задержку связи в сетях InfiniBand без потерь, напрямую преобразуя преимущества базового оборудования в более высокую эффективность обучения моделей.

1.6T DAC в сравнении с активными оптическими решениями на скорости 224G

При достижении скорости по одному каналу 224Gbps электрические сигналы сталкиваются с чрезвычайно высокими потерями при внесении и проблемами перекрёстных помех. Это сокращает физический предел передачи по пассивным медным кабелям примерно до 1–1,5 метров.

Для соединений между стойками или на средние и большие расстояния, несомненно, необходимым выбором будет активный оптический кабель 1.6T или оптический модуль в сочетании с оптоволокном. Однако в большинстве случаев, когда серверы напрямую подключены к коммутаторам верхнего уровня стойки, расстояние часто составляет менее 1 метра.

На этом расстоянии принудительное использование дорогостоящих AOC или оптических модулей не только приводит к огромному расходу ресурсов, но и добавляет задержку на уровне микросекунд из-за встроенного DSP-чипа. Поэтому в сетях 1.6T DAC и оптические решения больше не являются простыми взаимозаменяемыми вариантами, а образуют чрезвычайно строгое разделение обязанностей в зависимости от расстояния: DAC незаменимы на расстояниях до 1.5 метров, тогда как оптические решения доминируют на расстояниях свыше 3 метров.

Создание экосистемы XDR с решениями QSFPTEK 1.6T

По мере постепенного внедрения Quantum-3 поиск высококачественных кабелей DAC, способных безупречно передавать сигналы 224G, стал главным приоритетом для сетевых архитекторов. Как профессиональный поставщик высокопроизводительных оптических соединений, QSFPTEK полностью готова к экосистеме 1.6T.

Серия кабелей DAC QSFPTEK 1.6T проходит тщательные испытания методом рефлектометрии во временной области и тестирование целостности сигнала, что обеспечивает низкий уровень битовых ошибок на чрезвычайно высоких частотах.

Что еще важнее, современный испытательный центр QSFPTEK гарантирует базовую совместимость своих продуктов с основными распространенными сетевыми устройствами InfiniBand и Ethernet AI-коммутаторами. Предлагая высококонкурентную окупаемость инвестиций, QSFPTEK помогает центрам обработки данных по всему миру плавно перейти в эру 1.6T с более низкими капитальными затратами.

Заключение

В заключение следует отметить, что 1.6T DAC благодаря нулевому энергопотреблению, сверхнизкой задержке и отличному соотношению цены и производительности стал краеугольным камнем построения сверхкрупномасштабных кластеров обучения ИИ NVIDIA Quantum-3. В сценариях межсоединения на коротких расстояниях внутри серверных стоек он не только эффективно устраняет проблемы с теплоотводом и задержкой, вызванные оптическими модулями, но и повышает общую эффективность вычислений за счет упрощенной сетевой архитектуры. Для центров обработки данных, стремящихся к максимальной производительности и окупаемости инвестиций, выбор качественного решения 1.6T DAC является ключевым и оптимальным решением для развертывания интеллектуальных вычислительных сетей следующего поколения.