1.6T InfiniBand XDR DAC: почему пассивные медные кабели по-прежнему важны в кластерах ИИ

По мере того как InfiniBand XDR повышает пропускную способность одного порта до 1.6 Tb/s, сетевые соединения кластеров GPU для ИИ вступают в новый этап развития высокоскоростных межсоединений на основе электрических линий 200 Gb/s PAM4. Стремление к предельно высокой пропускной способности обмена данными ставит перед сетевыми архитекторами новые физические задачи: с переходом электрического интерфейса каждой линии на 200 Gb/s PAM4 требования к электропитанию и охлаждению оптических межсоединений 1.6T становятся всё более строгими. В стойках с высокой плотностью GPU установка большого количества высокоскоростных оптических трансиверов может существенно повысить энергопотребление портов коммутаторов и общие требования к охлаждению шасси. В ходе этой технологической эволюции пассивный медный кабель прямого подключения 1.6T InfiniBand XDR не утратил актуальности. Напротив, благодаря пассивной конструкции и простой физической реализации он сохраняет значительную инженерную ценность для высокоскоростных соединений на коротких расстояниях внутри стойки.

Практичный выбор для соединений на коротких расстояниях внутри стойки

Пассивные DAC 1.6T предназначены прежде всего для высокоскоростных соединений на коротких расстояниях внутри стоек центров обработки данных. В актуальных рекомендациях по развёртыванию XDR пассивные DAC в основном рассматриваются для двух конкретных сценариев:

Коммутатор — сервер: В вычислительных стойках высокой плотности серверы ИИ, оснащённые ConnectX SmartNIC, подключаются напрямую к коммутаторам верхнего уровня стойки.

Коммутатор — коммутатор: Используются для каскадного подключения сетевого оборудования в одной стойке на предельно малых физических расстояниях.

При таком развёртывании на предельно коротких расстояниях пассивные DAC обеспечивают два основных преимущества на уровне системы по сравнению с другими форм-факторами межсоединений:

Пассивные соединения для снижения дополнительных затрат энергии

Как следует из названия, пассивный DAC не содержит компонентов оптоэлектронного преобразования, микросхем DSP или другой активной электроники для обработки сигнала. Поэтому самому кабелю не требуется отдельное питание. В сравнении с оптическими трансиверами или активными электрическими кабелями, которым необходима активная обработка сигнала, пассивные DAC позволяют избежать дополнительного энергопотребления, связанного с активной обработкой сигнала на концах соединения, и направить ценный энергетический бюджет системы на вычислительные ресурсы GPU.

Простота соединений и низкая задержка

При соединениях на коротких расстояниях внутри стойки пассивные DAC позволяют обойтись без трактов оптоэлектронного преобразования и сопутствующей активной обработки сигнала, необходимых оптическим трансиверам. Такая упрощённая физическая линия сокращает дополнительные затраты на обработку и преобразование сигнала, что даёт ощутимую пользу кластерам обучения ИИ, крайне чувствительным к сквозной задержке и задержкам в хвосте распределения.

Почему DAC используются не во всех соединениях XDR

Хотя DAC 1.6T обладают преимуществами в энергоэффективности и простоте соединения, они не являются универсальным решением для сетей 1.6T. В экосистеме высокоскоростных межсоединений физическое расстояние и целостность сигнала по своей природе противоречат друг другу.

По мере увеличения длины кабеля потери в диэлектрике и проводнике становятся всё более существенными для электрических сигналов PAM4 класса 224G, передаваемых по меди. Для сохранения целостности сигнала при проектировании пассивных DAC обычно оптимизируют сечение проводников, конструкцию кабеля и разъёмов. Однако использование более толстых проводников (меньшее значение AWG) неизбежно увеличивает габариты и массу кабеля, а также требуемый минимальный радиус изгиба.

Поэтому, когда расстояния соединений превышают рабочий диапазон пассивного DAC, сетевая архитектура должна переходить на другие форматы межсоединений: линейные активные медные кабели (LACC) или AEC применяются для соединений на больших расстояниях внутри стойки, а оптические трансиверы 1.6T обычно становятся более подходящим выбором для соединений между стойками, на больших расстояниях или в условиях ограниченного пространства.

QSFPTEK 1.6T InfiniBand XDR DAC: обеспечение целостности сигнала 200G PAM4

В эпоху 1.6T при проектировании пассивных DAC основное внимание сместилось далеко за пределы простого соединения проводников к строгому контролю целостности высокоскоростного сигнала. Передача сигналов 200 Gb/s PAM4 крайне чувствительна к потерям в кабеле, неоднородностям импеданса и перекрёстным помехам. Недостаточный контроль вносимых потерь, возвратных потерь или перекрёстных помех в медных кабелях может ухудшить качество сигнала на приёмнике, повысить риск битовых ошибок и в конечном итоге снизить стабильность соединения и эффективность обмена данными в кластере.

Ориентируясь на кабельные соединения высокой плотности внутри стойки при развёртывании 1.6T, QSFPTEK сосредоточила инженерные и производственные усилия в отношении 1.6T InfiniBand XDR DAC на трёх ключевых направлениях:

Конструкции высокоскоростных кабелей и технология выполнения соединений: Благодаря использованию конструкций и материалов высокоскоростных медных кабелей, оптимизированных для соединений 200G PAM4, в сочетании с прецизионными технологиями оконцевания основное внимание в конструкции уделяется обеспечению непрерывности импеданса в переходной зоне разъёма, что помогает контролировать высокочастотные вносимые и возвратные потери на физическом уровне.

Снижение электромагнитных и перекрёстных помех: Для работы в сложной электромагнитной обстановке внутри стоек высокой плотности применяются оптимизированные конструкции экранирования кабелей и корпусов разъёмов OSFP. Это снижает риски внешних электромагнитных помех и эффективно подавляет перекрёстные наводки между соседними каналами при плотном размещении.

Проверка совместимости с платформами: Перед выходом на рынок каждое поколение высокоскоростных медных кабелей проходит строгие испытания высокоскоростных соединений и совместимости с целевыми платформами InfiniBand (например, высокопроизводительными коммутаторами и SmartNIC нового поколения). Этот процесс подтверждает стабильность высокоскоростных соединений при различных сочетаниях длин и проверяет состояния соединений и частоту ошибок при использовании прямой коррекции ошибок с учётом конкретных конфигураций целевых платформ.

Заключение

В эпоху 1.6T уже не доминирует единственная технология межсоединений. Хотя соединения между кампусами и на более дальние расстояния в значительной степени опираются на оптическую связь, пассивный DAC 1.6T InfiniBand XDR остается важнейшей основой физического уровня для коротких расстояний. Благодаря полностью пассивной архитектуре он предлагает простое решение для межсоединений, обеспечивающее баланс энергопотребления и задержки. При построении центров обработки данных нового поколения для ИИ подбор пассивных медных кабелей, активных кабелей и оптических трансиверов с учетом фактических расстояний и физических ограничений необходим для достижения баланса между производительностью каналов, энергопотреблением, пространством для прокладки кабелей и совокупной стоимостью владения.