Раскрывая потенциал 1.6T XDR: новая основа суперкомпьютеров ИИ следующего поколения

По мере того как масштабное обучение ИИ и модели с триллионами параметров становятся нормой, узкие места производительности в инфраструктуре ИИ смещаются—от чистой вычислительной мощности к сетевому взаимодействию. Хотя графические процессоры развиваются стремительно, огромный объём трафика между узлами, генерируемый распределённым обучением, растёт ещё быстрее. В результате пропускная способность сети, задержка и масштабируемость стали ключевыми факторами, определяющими общую загрузку вычислительных ресурсов всего кластера.

Сетевая технология прошла путь от HDR 200G до NDR 400G и 800G, и сегодня контуры следующего этапа развития уже вполне ясны: на первый план выходит архитектура межсоединений 1.6T на основе технологии одноканального сигнала 200G. Объединяя кремниевую фотонику, передовые DSP и технологию оптических межсоединений высокой плотности, InfiniBand XDR 1.6T призвана сыграть центральную роль в поддержке будущих кластеров ИИ-суперкомпьютеров.

ИИ-кластеры стимулируют развитие сетей от 800G NDR до 1.6T XDR

Сетевые проблемы гипермасштабных ИИ-кластеров

Сегодня’ распределенное обучение ИИ часто требует совместной работы тысяч или даже десятков тысяч графических процессоров. Масштабная синхронизация параметров, агрегация градиентов и частый обмен данными между кластерами создают огромный объем трафика «восток—запад» внутри центров обработки данных.

По мере увеличения размеров кластеров в существующих сетях HDR и NDR начинают проявляться узкие места, главным образом в следующих областях:

Ограничения пропускной способности: при высокоскоростных требованиях к связи массивов из множества GPU каналы 400G уже не справляются, что может приводить к простою вычислительных ресурсов и снижению общей загрузки.

Ограничения дальности передачи: традиционные многомодовые оптические решения SR обеспечивают относительно небольшую дальность, что напрямую ограничивает гибкость гипермасштабируемых центров обработки данных при планировании размещения стоек и пространства.

Двойная проблема энергопотребления и целостности сигнала: повышение скорости электрического сигнала для увеличения пропускной способности приводит к резкому росту энергопотребления, создает значительную нагрузку на систему терморегулирования и серьезно затрудняет контроль коэффициента битовых ошибок (BER).

Сети InfiniBand совершенствовались и ускорялись в течение последних 20 лет, чтобы справляться с подобными задачами. При каждом переходе к новому поколению они значительно увеличивали пропускную способность, одновременно внедряя более быстрые технологии SerDes и более производительные базовые архитектуры межсоединений.

Базовые параметры отраслевого стандарта ключевой технологии 1.6T XDR

Основа этого поколенческого скачка — комплексное обновление электрических сигналов: переход от 100G SerDes к 200G. Благодаря удвоению пропускной способности на канал—в сочетании с передовой технологией DSP и усовершенствованной архитектурой корпусирования—платформа XDR нового поколения может значительно повысить общий предел пропускной способности сети без существенного усложнения системы.

Ключевые базовые технологии, обеспечивающие работу 1.6T XDR

Простого увеличения пропускной способности недостаточно. Для Межсоединения 1.6T чтобы они действительно работали, им нужно совместно развиваться в целом ряде областей, включая оптическую компоновку, обработку сигналов DSP, проектирование систем терморегулирования и микросхемы коммутаторов низкого уровня.

Подробный анализ аппаратной архитектуры полного стека: 1.6T XDR и 800G NDR

Для создания высокопроизводительной сети ИИ недостаточно просто обновить коммутаторные чипы. Вся инфраструктура соединений должна опираться на согласованную работу оптических модулей, медных кабелей прямого подключения DAC, активных оптических кабелей AOC и компонентов разветвления соединений, чтобы соответствовать строгим требованиям для разных расстояний передачи.

От графических процессоров внутри стойки до соединений коммутаторов и магистральных линий большой протяженности между центрами обработки данных — каждый компонент играет незаменимую роль в обеспечении высокомасштабируемой сети.

Матрица оптических модулей: от 800G NDR до 1.6T Silicon Photonics

Для соединений на средние и большие расстояния в центрах обработки данных для ИИ оптические модули по-прежнему остаются основным решением. В зависимости от требуемой дальности передачи сигнала и типа оптоволокна отрасль обычно делит их на три категории: многомодовые решения SR (для коротких расстояний), одномодовые решения DR (класса центров обработки данных) и одномодовые решения FR (для больших расстояний).

По мере приближения скорости передачи данных к 1.6T технология кремниевой фотоники (SiPh) приобретает всё большее значение. Размещение оптических функций непосредственно на кремниевой платформе полностью меняет подход к кремниевой фотонике. Это даёт множество преимуществ.

Более высокая плотность интеграции

Более низкое энергопотребление

Повышенная масштабируемость для массового производства

Больше возможностей для управления температурным режимом

Благодаря этим характеристикам кремниевая фотоника стала одним из основных направлений развития для будущего крупномасштабного развертывания сетей 1.6T.

1.6T XDR OSFP DR8 (решение на основе кремниевой фотоники для одномодового волокна 1310 nm)

Рабочая длина волны составляет 1310 nm; используется передача по одномодовому волокну.

Типичная дальность передачи составляет до 500 метров.

Оснащён двумя интерфейсами MPO

Параллельная архитектура с 8 каналами и скоростью передачи данных около 200G на канал

Типичные применения: магистральные соединения между коммутаторами ИИ нового поколения и развертывание сетей фабрики для гипермасштабируемых кластеров ИИ.

Серия 800G NDR OSFP

SR8 (многомодовое волокно, 850 nm): использует волокно OM3 и OM4 для высокоскоростных соединений на короткие расстояния внутри центров обработки данных.

FR8 (1310 nm, одномодовый): обеспечивает передачу на большие расстояния, вплоть до нескольких километров, что позволяет устанавливать соединения между зданиями и кампусами.

Серия 400G NDR OSFP / QSFP56

Предлагает проверенные архитектуры, такие как SR4, DR4 и FR4

Обеспечивает плавное развитие и переход от сетей HDR

Широко используется на стороне доступа к серверам и в сетях уровня доступа.

Матрицы высокоскоростных кабелей: решения для межсоединений DAC и AOC

Эти кабели чаще всего используются для подключения серверов с графическими процессорами к коммутаторам в одной стойке. К наиболее распространённым типам относятся пассивные медные кабели (DAC), активные оптические кабели (AOC) и кабели-разветвители (1-to-2 или 1-to-4). Они популярны для коротких соединений в кластерах ИИ, поскольку доступны по цене и позволяют создавать кабельные системы высокой плотности.

Пассивные медные кабели прямого подключения DAC (интерфейсы OSFP / QSFP56): эти кабели не содержат микросхем обработки сигнала на обоих концах и полностью полагаются на медную среду для передачи чистого электрического сигнала. Их преимущества — сверхнизкое энергопотребление и низкая стоимость. Наиболее распространённые длины — 1 и 3 метра; кабели специально предназначены для соединений внутри стойки длиной от 1 до 3 метров. Варианты исполнения включают стандартные прямые кабели, разветвители типа Y с делением 1 на 2 и разветвители 1 на 4. Они позволяют экономично и гибко расширять многопроцессорные GPU-узлы, разделяя пропускную способность одного порта.

Активные кабели AOC: на обоих концах таких кабелей встроены чипы оптоэлектронного преобразования, а для передачи сигнала используется оптоволокно, что полностью снимает физические ограничения по дальности передачи, характерные для медных кабелей. Так, кабель HDR 200G AOC поддерживает передачу на расстояние до 100 метров, а NDR 400G AOC охватывает расстояния в несколько десятков метров; их преимущественно используют для высокоскоростных соединений между соседними стойками.

Разветвительные кабели: они поддерживают варианты преобразования, такие как OSFP в 2×QSFP56 или OSFP в 4×OSFP, позволяя разделить один порт 800G на несколько нисходящих соединений 200G/400G. Они идеально подходят для гибкой организации сети в различных кластерах ИИ и помогают значительно сократить количество простаивающих и неиспользуемых портов коммутаторов.

Три поколения: эволюция сетевого оборудования

Переход от HDR к NDR, а теперь и к XDR — это технологический скачок, который значительно превосходит простое удвоение пропускной способности. С каждым новым поколением комплексно пересматриваются модуляция сигнала, архитектура DSP, конструкции оптических модулей и общее энергопотребление.

Основные различия между этими тремя поколениями аппаратных архитектур прежде всего проявляются в следующих ключевых показателях.

Практическая ценность сетей 1.6T XDR в кластерах суперкомпьютеров для ИИ

Значительно повышает эффективность использования вычислительных мощностей GPU 

Благодаря архитектуре со сверхнизкой задержкой, объединяющей RDMA 1.6T и InfiniBand, задержка обмена данными между GPU сократилась до микросекундного диапазона. При распределенном обучении крупных моделей эффективная загрузка вычислительных ресурсов GPU-кластеров может напрямую вырасти примерно с 40% до 75%–80%, существенно сократив цикл обучения моделей с триллионами параметров. При модернизации существующих кластеров 800G NDR с переходом на магистральную сеть XDR ожидается повышение общей эффективности обучения всего кластера более чем на 40%.

Оптимизация затрат на кабельную разводку и инфраструктуру центров обработки данных

Сокращение общего числа портов коммутаторов: при удвоении пропускной способности на порт необходимое число портов коммутатора сокращается на 50% при сохранении той же вычислительной мощности, что позволяет значительно уменьшить занимаемое место в стойке, нагрузку на распределение электропитания и расходы на охлаждение.

Увеличенная дальность передачи: модули серии DR/FR с одномодовым волокном 1310nm поддерживают дальность передачи от 500 метров до 2 километров. Это позволяет преодолеть ограничения по дальности, накладываемые многомодовым волокном 850nm при физическом проектировании центра обработки данных. Благодаря этому в центрах интеллектуальных вычислений проще разделять стойки и наращивать мощности.

Высокая энергоэффективность всей линии связи: интеграция кремниевой фотоники с DSP-решением нового поколения на базе 3-нм техпроцесса снижает энергопотребление на Гбит/с пропускной способности примерно на 25% по сравнению с обычными дискретными компонентами. Это значительно сокращает расходы на электроэнергию для суперкомпьютерных кластеров с 10 000 карт, работающих под высокой нагрузкой круглый год.

Совместимость с имеющимися сетевыми ресурсами

Протокол XDR 1.6T совместим с NDR 800G и HDR 200G. Полностью перестраивать кластеры 200G/400G не нужно. Достаточно заменить коммутаторы ядра и оптические модули магистральной сети, чтобы постепенно перейти на 1.6T. Это действительно позволит существенно сократить первоначальные затраты на модернизацию.

Рекомендации по выбору для распространённых сценариев

Для разных бизнес-сценариев требуются разные варианты соединения. При выборе оборудования обычно учитывают дальность передачи сигнала, необходимое количество кабелей, бюджет и возможность расширения системы в будущем.

С учётом реальных потребностей типичных бизнес-сред рекомендуемые решения по сетевому оборудованию для различных сценариев обобщены ниже:

В заключение

Если рассматривать общие технологические тенденции отрасли, внедрение кремниевой фотоники продолжает ускоряться. По мере того как скорость сети превышает порог 800G, значение кремниевой фотоники для снижения энергопотребления и повышения интеграции становится незаменимым; одновременно сети 1.6T переходят от перспективного планирования к реальному коммерческому внедрению и в ближайшие годы станут основой высокоскоростного обучения ИИ. Что касается более долгосрочных решений, таких как Co-Packaged Optics (CPO), энтузиазм в отношении R&D остаётся высоким. Сейчас и в обозримом будущем зрелые подключаемые оптические модули будут безусловно преобладать в сфере внедрения.

Это также означает, что 1.6T — наиболее очевидный и прагматичный ключевой этап текущей модернизации инфраструктуры ИИ. Однако для полноценной работы архитектуры 1.6T недостаточно просто обновить аппаратное обеспечение коммутаторов: необходимы согласованные усилия всей экосистемы межсоединений, включающей оптические модули, высокоскоростные кабели и сетевую архитектуру.

Используя полный ассортимент продукции для 400G, 800G и появляющегося 1.6T—, включая модули трансиверов на основе кремниевой фотоники, кабельные сборки DAC/AOC высокой плотности и сетевые решения для ИИ—, QSFPTEK стремится помогать пользователям создавать высокомасштабируемую и высокопроизводительную вычислительную инфраструктуру, обеспечивая более стабильный и плавный переход от существующей архитектуры NDR к сети ИИ Fabric следующего поколения 1.6T.