Обзор трансиверов XPO: в чём разница между CPO?

По мере развития оптических модулей от 100G до 400G, 800G и даже в направлении 1.6T пропускная способность центров обработки данных постоянно увеличивалась. Долгое время работал принцип «ускорение решает проблему». Однако по мере стремительного расширения рабочих нагрузок обучения ИИ одного лишь увеличения скорости становится недостаточно.

Текущее узкое место больше не связано только с тем, достаточно ли пропускной способности одного порта; проблема распространилась на уровень всей системы—плотность портов, контроль энергопотребления, пространство для отвода тепла и последующее техническое обслуживание одновременно становятся проблемными факторами и взаимно ограничивают друг друга.

На этом фоне отрасль изучает новые направления оптических соединений. С одной стороны, существуют высокоинтегрированные решения, такие как CPO; с другой стороны, в подключаемые архитектуры вносятся новые изменения. XPO (eXtra-dense Pluggable Optics) — это направление, которое постепенно сформировалось в рамках данного подхода.

Инфраструктура ИИ вступает в новую фазу ограничений

По мере того как центры обработки данных постепенно отходят от традиционных облачных конфигураций и переходят к масштабным вычислительным системам, ориентированным на ИИ, роль сети также меняется. Это больше, чем просто средство передачи данных — это важнейшая часть инфраструктуры, которая напрямую влияет на то, насколько хорошо специалисты могут обучать модели и насколько эффективно они используют ресурсы.

Обычно увеличения скорости портов с 400G до 800G, а затем до 1.6T недостаточно для удовлетворения потребностей реальных систем. Основная проблема заключается в переходе от «пропускной способности одного порта» к более сложным вопросам на уровне системы.

Нагрузка на пропускную способность смещается от одной точки к глобальному уровню

Во время обучения больших моделей многочисленные графические процессоры или ускорительные карты должны непрерывно синхронизировать параметры и градиенты, что приводит к чрезвычайно высокой частоте обмена данными между узлами. По мере увеличения размера модели сетевой трафик растет значительно быстрее, чем скорость одного порта.

Даже при постоянном увеличении скорости интерфейсов плотность пропускной способности сети все еще может легко ограничивать эффективность обучения, особенно в сценариях параллельного обучения на нескольких узлах.

Проблемы надежности усиливаются при крупномасштабных развертываниях

В кластерах искусственного интеллекта количество соединений оптических модулей может легко достигать десятков тысяч и даже больше. При увеличении масштаба, даже если каждое соединение выходит из строя нечасто, вероятно возникновение некоторых проблем. Полностью избежать этих проблем будет сложно.

В такой среде сбой одного соединения влияет не только на локальную область. Вы можете приостановить, перенести или отменить задачи обучения, используя все вычислительные ресурсы. Надежность сети — это нечто большее, чем просто визуальная характеристика. Бизнес должен работать бесперебойно.

Системы охлаждения переходят на архитектуры жидкостного охлаждения.

По мере роста энергопотребления микросхем для вычислений ИИ традиционные решения с воздушным охлаждением приближаются к пределу своих возможностей, а жидкостное охлаждение становится основным подходом для центров обработки данных с высокой плотностью размещения оборудования.

Это также налагает новые ограничения на устройства оптических межсоединений: необходимо гарантировать не только характеристики сигнала, но и адаптировать конструкцию, выбор материалов и тепловой дизайн к условиям жидкостного охлаждения для поддержки развертывания стоек более высокой плотности.

Энергоэффективность Has становится одним из ключевых показателей проектирования сетей

В кластерах ИИ высокой плотности необходимо перераспределять энергоресурсы между вычислительными системами и сетью. По мере увеличения масштаба системы энергопотреблением сетевой стороны нельзя пренебрегать.

В результате показатель «энергопотребление на бит» стал ключевым критерием оценки решений для оптических соединений, напрямую влияющим на общие эксплуатационные расходы и верхний предел энергоэффективности системы.

Плотность физических портов приближается к инженерным пределам

Современные подключаемые форм-факторы оптических модулей, такие как OSFP, по мере увеличения пропускной способности приближаются к пределам физической плотности. Когда пропускная способность чипов продолжает расти, а плотность портов не может увеличиваться одновременно, сетевая архитектура должна добавлять уровни, что приводит к более высокой задержке и усложнению конструкции.

Что такое XPO (eXtra-dense Pluggable Optics)?

В преддверии OFC 2026 компания Arista Networks совместно с несколькими производителями оптических модулей предложила концепцию XPO (eXtra-dense Pluggable Optics). XPO можно рассматривать как решение для оптических межсоединений следующего поколения центров обработки данных ИИ с высокой плотностью подключения. Его основная цель заключается в дальнейшем повышении плотности пропускной способности и возможностей отвода тепла без отказа от эксплуатационных преимуществ подключаемых модулей, чтобы адаптироваться к вычислительным средам с высокой мощностью.

XPO — это не просто «увеличение скорости». Это полная переработка структуры, электропитания и методов рассеивания тепла, направленная на удовлетворение потребностей развертывания ИИ на уровне стоек.

Основные характеристики и возможности XPO

С точки зрения конструкции XPO явно отошел от традиционного пути развития OSFP, больше ориентируясь на "оптический блок межсоединения на уровне системы":

Все эти факторы указывают на одну и ту же реальность: XPO — это не просто оптический модуль, а компонент межсоединения высокоплотных вычислительных систем.

Изменение по сравнению с OSFP — это нечто большее, чем просто «удвоение»

Если мы используем традиционные Решения OSFP Для справки: XPO представляет собой значительный шаг вперед по нескольким направлениям: пропускная способность одного модуля увеличена примерно в 8 раз, плотность размещения на панели — примерно в 4 раза, а также впервые реализовано полноценное решение с жидкостным охлаждением в стандартном подключаемом форм-факторе.

Более важное изменение заключается не в самих числах, а в переходе в логике проектирования—от «увеличения скорости одного порта» к «переопределению форм-фактора оптических соединений с учетом энергопотребления и плотности на уровне стойки». При таком подходе XPO больше похож на базовый элемент межсоединения, переработанный для сценариев с чрезвычайно высоким энергопотреблением, характерных для ИИ.

Основные инновационные разработки XPO: 

Архитектура двухплатной укладки «плата к плате»

Наиболее значительным изменением в аппаратной структуре XPO стала замена традиционной конструкции с одной печатной платой на «многослойную конструкцию из двух печатных плат». Две 32-канальные печатные платы плотно расположены одна напротив другой, что на уровне системы переопределяет зоны нагрева и функциональные зоны.

Эта конструкция размещает компоненты, выделяющие большое количество тепла (например, схемы передатчиков и модули лазерных драйверов), во внутренней «горячей зоне», а компоненты с низким энергопотреблением (например, приемники и логические схемы управления) — во внешней «холодной зоне». Основная идея этого метода заключается в сокращении пути прохождения тепла, что позволяет ему быстрее поступать в систему охлаждения и повышает эффективность отвода тепла.

Когда в один модуль помещается больше каналов, механическая конструкция становится более сложной. Пальцы можно разместить во многих местах, поэтому подключение и отключение требуют больших усилий. Со временем это может сделать плановое обслуживание немного более утомительным, особенно в сложных конфигурациях.

Жидкостное охлаждение на уровне модуля: встроено непосредственно в оптический модуль

XPO теперь включает жидкостное охлаждение в состав модуля. Холодная пластина размещена между двумя печатными платами. Это позволяет одновременно отводить тепло от обоих слоев по более короткому и прямому пути. Благодаря этому не требуется использовать внешний воздух или воздуховоды для перемещения воздуха, поэтому тепло можно отводить непосредственно в месте его возникновения.

На практике эта конструкция может работать с TDP 400W и выше. Когда температура охлаждающей жидкости составляет около 40–45°C, общая температура обычно на 20–25°C ниже, чем у традиционных решений с воздушным охлаждением.

Соединители представляют собой быстроразъемные соединения с глухой установкой и герметичной конструкцией, способные выдержать примерно 500 повторных подключений и отключений. Внутренняя часть холодной пластины — это не просто кусок металла: в ней предусмотрены каналы для потока жидкости, проходящие вдоль участков с высокой концентрацией тепла. Конструкция проста: один вход и один выход. В целом этот подход больше напоминает решение с холодной пластиной для графического процессора, чем традиционную систему охлаждения «внешнего» модуля, и похож на конструкцию системного уровня.

Электрическая архитектура и источник питания 50V

На уровнях передачи сигналов и электропитания XPO также претерпела изменения. Ее электрическая архитектура поддерживает 64 высокоскоростных электрических канала, каждый со скоростью 200 Гбит/с PAM4, обеспечивая общую пропускную способность 12,8 Тбит/с, и в дальнейшем планируется переход на каналы 400 Гбит/с для достижения пропускной способности 25,6 Тбит/с.

Основные характеристики электрической конструкции:

Во-первых, оптимизированная компоновка каналов: сигналы Tx и Rx расположены на противоположных сторонах мезонинной платы, чтобы уменьшить перекрёстные помехи и повысить целостность сигнала, что делает такую компоновку более подходящей для сценариев с архитектурой линейного управления (LPO).

Во-вторых, секции питания и управления спроектированы отдельно. Низкоскоростные управляющие сигналы (например, I2C/I3C, сигналы сброса и аварийной сигнализации) используют отдельный центральный разъем. Этот разъем физически отделен от высокоскоростного канала передачи данных. Это снижает электрические помехи, повышает стабильность управляющих сигналов и предотвращает влияние высокоскоростных линий на них.

Что еще важнее, архитектура электропитания была модернизирована. XPO использует входное напряжение постоянного тока 46–53V (обычно около 48V/50V), поступающее непосредственно от источника питания стоечной шины. По сравнению с традиционными модулями 3.3V это значительно снижает требования к току, тем самым уменьшая потери в линиях и размер разъемов и повышая общую эффективность электропитания. Такая конструкция также лучше соответствует будущей тенденции использования высоковольтного постоянного тока в центрах обработки данных.

Фактическое влияние XPO на архитектуру центра обработки данных

Важность XPO выходит за рамки создания отдельных оптические модули или коммутационных устройств лучше. Это напрямую влияет на проектирование всего центра обработки данных. Когда один модуль значительно повышает пропускную способность, снижает энергопотребление и улучшает отвод тепла, эти изменения послойно накапливаются в иерархии сети. В конечном итоге это влияет на общую емкость системы, способы ее использования и общую структуру затрат.

С точки зрения проектирования системы, например, для построения сети с общей коммутационной емкостью 204.8 Tbps, решение XPO требует всего около четверти стоечного пространства по сравнению с традиционным решением OSFP, что соответствует примерно четырехкратному увеличению плотности пропускной способности. Это означает, что в том же физическом пространстве сетевые устройства могут поддерживать более высокую пропускную способность, обеспечивая тем самым более компактную инфраструктурную поддержку для обучения AI и высокопроизводительных вычислений.

В типичной среде стоек с жидкостным охлаждением ORv3 (HPR) разница между двумя решениями также весьма существенна. Энергопотребление одной стойки в традиционной архитектуре OSFP составляет приблизительно 32 кВт. Для сравнения, решение XPO может увеличить этот показатель примерно до 128 кВт, что ближе к диапазону плотности мощности 120 кВт и выше, обычно планируемому для систем с жидкостным охлаждением. На практике решение OSFP часто не позволяет полностью использовать возможности инфраструктуры с жидкостным охлаждением. В отличие от него, XPO обеспечивает лучшее соответствие между энергопотреблением и мощностью отвода тепла, позволяя более полно использовать энергетические ресурсы и ресурсы охлаждения и тем самым улучшая общие показатели TCO.

Коротко говоря, XPO может обеспечить примерно в четыре раза большую пропускную способность сети в том же объеме пространства. Это улучшение означает не только экономию места; оно также влияет на стоимость создания центра обработки данных, время его развертывания и сложность эксплуатации.

В гипермасштабных сценариях использования ИИ это преимущество еще более значительно. Например, центр обработки данных для ИИ мощностью около 400MW, примерно со 128,000 XPU и трехуровневой топологией Clos, требует около 12.8Tbps масштабируемой пропускной способности и 1.6Tbps пропускной способности для масштабирования. В традиционной архитектуре OSFP коммутационная емкость на стойку составляет около 1.64 Pbps. Однако архитектура XPO может обеспечить около 6.55 Pbps, сократив количество стоек примерно на 75%.

Это сокращение количества стоек снижает потребность в такой инфраструктуре, как электропитание, охлаждение и кабельная система. В результате общие затраты на строительство значительно уменьшаются. XPO также можно использовать в существующих средах центров обработки данных для увеличения плотности развертывания ускорителей без необходимости в дополнительном физическом пространстве, что позволяет эффективнее использовать имеющиеся ресурсы.

Ключевое различие между XPO и CPO

Сегодня существует два основных способа подключения оптических устройств: XPO и CPO. XPO ориентирован на «глубокую интеграцию», то есть устройства полностью соединяются друг с другом. CPO, напротив, направлен на максимально эффективное использование доступного пространства, что важно для подключаемых устройств.

CPO: экстремальная интеграция для максимальной производительности

Оптика с совместной упаковкой напрямую интегрирует оптический механизм и коммутационный чип. Это обеспечивает более короткий путь прохождения сигнала, меньшие потери и более высокую энергоэффективность. Теоретически такая конструкция может обеспечить более высокую плотность полосы пропускания и меньшее энергопотребление, демонстрируя перспективный путь дальнейшего развития.

Однако есть и некоторые проблемы, которые необходимо учитывать. Оптические компоненты и коммутационный чип тесно связаны между собой. Если оптический модуль или его компоненты работают неправильно, задача может значительно усложниться. Во многих случаях это означает необходимость внесения изменений во все устройство или даже во всю систему. Это может привести к увеличению затрат, а также к усложнению технического обслуживания и замены.

CPO также требует чрезвычайно высокого уровня зрелости производственных процессов и цепочки поставок. Сейчас неясно, готова ли эта технология к широкомасштабному коммерческому использованию, поэтому трудно сказать, насколько быстро она будет внедряться.

XPO: Оптимизация инженерных решений в рамках подключаемой архитектуры

XPO отличается от CPO тем, что не отказывается от использования подключаемой архитектуры. Вместо этого он совершенствует текущую систему. XPO приближается к производительности CPO за счет увеличения плотности каналов, добавления жидкостного охлаждения и улучшения системы электропитания. При этом сохраняется прежняя модульная заменяемость.

Такая конструкция обеспечивает более реалистичный баланс между удобством обслуживания, гибкостью модернизации и затратами на развертывание, что делает ее более подходящей для текущих инженерных потребностей крупномасштабных центров обработки данных.

Различия в выборе с инженерной точки зрения

CPO в большей степени ориентирован на долгосрочные технические цели, такие как экстремальная производительность и будущие изменения. Однако в краткосрочной перспективе его по-прежнему сложно использовать. XPO, с другой стороны, является более практичным выбором. Он позволяет находить баланс между улучшением характеристик и сохранением простоты, что упрощает его масштабное использование поставщиками облачных услуг.

По этой причине в средах облачных центров обработки данных, где особое значение имеют стабильность и удобство обслуживания, подключаемые решения сохраняют высокую привлекательность.

Краткое содержание

В целом XPO и CPO не являются простыми заменами друг друга; скорее всего, в долгосрочной перспективе они будут сосуществовать в разных сценариях применения. CPO представляет долгосрочный верхний предел архитектуры, тогда как XPO представляет собой более быстрый путь эволюции в рамках существующей отраслевой экосистемы. Будущая форма сетей центров обработки данных во многом будет зависеть от продолжающегося компромисса между «пределами производительности» и «инженерной реализуемостью».