Эволюция архитектуры вычислений AI: масштабирование вверх и масштабирование вширь, а также выбор оптических модулей

По мере того как крупномасштабные модели достигают триллионов параметров, а размер кластеров ИИ приближается к сотням тысяч GPU, базовая вычислительная инфраструктура претерпевает значительные архитектурные изменения. Две основные сетевые модели для вычислений ИИ—Scale-Up и Scale-Out—развиваются по разным техническим направлениям, однако на практике постепенно сходятся в ключевых точках. 

Это изменение по сути является результатом неоднократного поиска компромисса между «низкой задержкой и высокой масштабируемостью» и «высокой надежностью и контролем затрат». В то же время непрерывное развитие технологий оптических модулей (таких как LPO, NPO и CPO) все больше определяет проектирование систем.

Масштабирование вверх и масштабирование вширь: различия и компромиссы между двумя подходами

При проектировании вычислительных кластеров для ИИ Scale-Up и Scale-Out с самого начала преследуют разные цели, а критерии их оценки не совпадают по одному и тому же измерению. Их можно рассматривать как два различных подхода.

Масштабирование: тесно связанная архитектура с акцентом на низкую задержку и строгую согласованность

Масштабирование вверх ближе к расширению вычислительной мощности одного узла; по сути, речь идет о «горизонтальной интеграции» в рамках существующей архитектуры GPU. Благодаря созданию тесно связанных вычислительных модулей локальная память нескольких GPU абстрагируется в единое логическое пространство, позволяя вычислительному ядру получать доступ к удаленной памяти с задержкой, близкой к локальной HBM. Такой подход с семантикой, близкой к работе с памятью, направлен не только на расширение масштаба, но и на минимизацию расстояния между вычислениями и данными, снижение задержки до уровня менее микросекунды при сохранении высокой согласованности и стабильности.

Scale-Out: распределенная вычислительная модель, ориентированная на масштабируемость

В отличие от этого, Scale-Out больше похож на объединение распределённых вычислительных ресурсов в единое целое посредством организации большого числа узлов через сеть. Типичные реализации основаны на двух- или трёхуровневой архитектуре Clos, которая соединяет десятки тысяч и даже больше GPU в одном обучающем кластере для поддержки параллелизма данных, конвейерного параллелизма и других режимов обучения. Такой подход ориентирован на масштабируемость и контроль затрат, обеспечивая постоянную доступность системы и её расширение в соответствии с вашими потребностями при совместной работе с имеющимися аппаратным и программным обеспечением.

В целом Scale-Up направлен на улучшение «индивидуальных возможностей» для достижения максимальной производительности и низкой задержки. С другой стороны, Scale-Out ориентирован на «эффективность масштабирования», позволяя крупным кластерам работать стабильно. Первый подход сосредоточен на вычислительных узлах в высокопроизводительных вычислениях, тогда как второй формирует базовую сеть для крупномасштабного обучения и вывода. В реальной инфраструктуре ИИ эти два режима часто сосуществуют и дополняют друг друга.

Текущая эволюция: изменения архитектуры Scale-Up и тенденции упрощения Scale-Out

В последние годы Scale-Up и Scale-Out быстро развиваются, и ведущие производители нашли способы внедрения этих подходов на практике. Цель заключается в повышении производительности при одновременном упрощении архитектуры.

Масштабирование: от шасси до сосуществования нескольких форм-факторов, межсоединение 224G становится ключевым узлом

Ранние решения для растущих компаний в основном были сосредоточены на «шасси SuperNode», которые объединяли вычислительные ресурсы в единую систему и соединяли их высокоскоростными каналами. В этих решениях особое внимание уделялось стабильности и согласованности; обычно использовалась комбинация «кабельная объединительная плата + коммутация L1/L2»: для обеспечения высокой плотности полосы пропускания внутренние соединения внутри шасси в основном выполнялись с помощью электрических соединений; для расширения между шасси использовались оптические соединения.

Оптические соединения 224G постепенно становятся основным выбором для сценариев масштабирования. С точки зрения модели затрат цена Оптические модули 1.6T вероятно, в следующие три-пять лет останется примерно в 1,2–1,4 раза выше, чем у 800G. С этой разницей довольно легко справиться независимо от того, используется ли архитектура LPO или традиционная архитектура DSP. Однако использование технологии 112G часто означает применение большего количества волокон для той же пропускной способности, что в итоге приводит к более высоким затратам. Если учитывать такие факторы, как пропускная способность, энергопотребление и сложность кабельной инфраструктуры, решение 224G в долгосрочной перспективе оказывается лучше.

Оптический модуль QSFPTEK 1.6T

Отрасль следует этой тенденции и начала разрабатывать соответствующие продукты, такие как модули серии OSFP от QSFPTEK, поддерживающие скорости 1.6T (например, спецификации 2×DR4 и 2×FR4). В первую очередь они предназначены для удовлетворения требований к высокой пропускной способности и низкой задержке в будущих архитектурах суперузлов. Эти продукты также подготавливают центры обработки данных к следующему этапу их развития.

Масштабирование: от трёх уровней к двум, структура сети постепенно упрощается

Значительным изменением в архитектурах scale-out стало все большее внимание к упрощению общей конструкции. Ранее распространенная трехуровневая сеть Clos постепенно заменяется двухуровневой архитектурой Clos. Благодаря сокращению числа промежуточных уровней сетевой путь становится более прямым, что снижает сложность системы. При такой конструкции даже кластеры обучения, рассчитанные на сотни тысяч графических процессоров (GPU), могут сохранять высокую масштабируемость, одновременно удерживая сетевые расходы под контролем.

Это изменение в значительной степени обусловлено улучшением возможностей коммутационных чипов. По мере увеличения количества портов, например при достижении Radix значения 512 портов, двухуровневая сеть Clos может напрямую поддерживать масштаб узлов свыше 100 000, а в некоторых проектных моделях даже охватывать около 130 000 карт ускорителей без необходимости в дополнительном уровне коммутации ядра. Это означает, что крупные кластеры ИИ могут сохранять плотность пропускной способности и одновременно поддерживать более четкую топологию сети при масштабировании.

Многоплоскостные сети: снижение нагрузки на пропускную способность благодаря многоплоскостной архитектуре

Опираясь на эту основу, некоторые производители начали исследовать новые методы организации сети. Например, архитектура Multi-Plane, предложенная в соответствующих исследованиях, является типичным подходом. В этой схеме AI-NIC одновременно получает доступ к различным плоскостям сети Clos через несколько высокоскоростных портов; например, использует четыре интерфейса 200G для подключения к четырем независимым плоскостям сети, а на стороне отправки распределяет один и тот же поток данных между плоскостями методом round-robin.

На принимающей стороне механизм обработки данных, поддерживающий запись вне очереди, собирает данные из разных путей, благодаря чему отдельный канал не становится узким местом. Такой подход повышает эффективность использования пропускной способности одного GPU в сценариях Scale-Out, обеспечивая в некоторых тестовых моделях общий коэффициент использования свыше 95%.

С точки зрения тенденций, фокус Scale-Out заключается не только в увеличении масштаба, но и в достижении более разумного баланса между пропускной способностью, эффективностью и стоимостью в сверхкрупных кластерах ИИ за счет структурной оптимизации и инноваций в проектировании сетей.

Тенденции выбора оптических модулей: LPO/NPO набирают популярность, CPO постепенно теряет позиции

Как в архитектурах Scale-Up, так и в архитектурах Scale-Out оптические модули являются не только средством соединения, но и напрямую влияют на задержку, энергопотребление и стабильность линии связи. Поэтому различные технологические подходы всё сильнее различаются по выбору форм-факторов оптических модулей. Различия между решениями на основе LPO, NPO и традиционного DSP становятся всё более очевидными, тогда как популярность CPO относительно снизилась.

Масштабирование: решения с меньшей задержкой предпочитают LPO/NPO

В сценариях масштабирования системы цель заключается в снижении задержки и энергопотребления. Благодаря этому решения LPO или NPO без DSP становятся более популярными. Эти оптические модули упрощают путь обработки сигнала, что значительно снижает количество потребляемой ими энергии. Например, один Модуль 800G решение LPO потребляет приблизительно 6W, что значительно лучше по сравнению с традиционными продуктами, оснащёнными DSP, которые обычно потребляют около 15W.

Оптический модуль QSFPTEK 800G

Одновременно с этим снижение участия DSP в обработке данных также уменьшает задержку в канале связи. Одностороннюю задержку можно сократить на десятки наносекунд, а сокращение задержки при передаче туда и обратно выражено еще сильнее. Эти характеристики делают их более подходящими для требований масштабирования «короткое расстояние, высокая согласованность», а некоторые продукты LPO, оптимизированные для центров обработки данных с ИИ, разработаны с учетом этих показателей.

Масштабирование: архитектура DSP по-прежнему остается основным выбором

Однако в средах с горизонтальным масштабированием всё обстоит совершенно иначе. Оптические модули с процессорами цифровой обработки сигналов (DSP) лучше подходят для обработки крупных сетевых подключений и передачи на большие расстояния. Поэтому они по-прежнему остаются предпочтительным выбором.

С одной стороны, с точки зрения контроля ошибок DSP поддерживают более сложные механизмы прямого исправления ошибок, позволяя каналу после коррекции достигать более низкого уровня ошибок, что делает их подходящими для сценариев передачи на большие расстояния. С другой стороны, модули LPO/NPO имеют относительно ограниченные возможности в этом отношении и часто не соответствуют требованиям стабильности для соединений между центрами обработки данных или линий протяженностью 10 км.

С другой стороны, крупномасштабные кластеры обычно предполагают смешанное развертывание оборудования от нескольких поставщиков, что предъявляет более высокие требования к совместимости. Оптические модули DSP на основе стандартных протоколов (таких как IEEE 802.3) отличаются более зрелой совместимостью между оборудованием разных поставщиков, тогда как стандарты LPO/NPO все еще развиваются, а экосистема пока не полностью унифицирована.

В целом два технических направления стали понятны: Scale-Up обычно использует LPO/NPO для достижения меньших задержек и энергопотребления. Scale-Out продолжает полагаться на архитектуру DSP, чтобы обеспечить передачу на большие расстояния и совместимость системы. Несмотря на различия в способах реализации, обе технологии преследуют одну и ту же цель в развитии пропускной способности — переход к скорости 224G на одном канале.

Реальные проблемы интеграции и внедрения: возможности и ограничения сосуществуют

Когда высокая надежность масштабирования вверх начинает пересекаться с широкими возможностями масштабирования вширь, направление «конвергентных сетей» кажется естественным. Однако между экспериментированием и широкомасштабным развертыванием по-прежнему существует несколько неизбежных препятствий.

Архитектурные различия: сложность унификации семантики памяти и семантики сообщений

Две системы работают на разных уровнях. Scale-Up подобен «семантике памяти», то есть способу доступа GPU к удаленным ресурсам. Благодаря этому все устройства могут быстро обмениваться данными друг с другом. Scale-Out, напротив, построен на «семантике сообщений» и использует такие механизмы, как RDMA, для отправки и получения данных. По сути, это явная модель взаимодействия. Основные различия в проектировании и построении этих систем означают, что их интеграция сложнее, чем простая проверка возможности обмена данными между всеми ними.

Несогласованные пути обеспечения надёжности: как обеспечить стабильные соединения

Чтобы обеспечить надежность конструкции, Scale-Up обычно использует «кабельную объединительную панель + коммутационную структуру», чтобы снизить риск отказов каналов и удерживать критический путь в диапазоне высокой стабильности. В отличие от этого, системы Scale-Out обычно используют оптические модули для соединения. Для достижения конвергенции часть трафика Scale-Out необходимо перенаправить на высоконадежные каналы Scale-Up, что требует реконструкции существующей топологии сети. Для кластеров с десятками и даже сотнями тысяч карт такие изменения по своей сути являются сложными инженерными проектами.

Взаимодействие между поставщиками: стандарты и экосистемы остаются фрагментированными

Конвергентные сети — это не только архитектурный вопрос; они также требуют сотрудничества между представителями отрасли. Необходимо более тесное согласование стандартов между коммутирующими микросхемами, графическими процессорами и оптическими модулями. Например, решения, связанные с LPO, по-прежнему зависят от доработки унифицированных спецификаций для обеспечения совместимости между поставщиками. Одновременно структуры коммутации на основе памяти должны адаптироваться к реализациям интерфейсов различных производителей GPU. В настоящее время ведущие поставщики в основном сосредоточены на собственных экосистемах, а протоколы и пути реализации не полностью унифицированы, что в определенной степени замедляет процесс конвергенции.

В связи с этими проблемами возникает несколько ключевых вопросов: есть ли у LPO возможность совершить прорыв в обеспечении совместимости и стать более универсальным решением для оптических межсоединений? Можно ли интегрировать семантику памяти и семантику сообщений на уровне программного обеспечения, чтобы система одновременно обеспечивала низкую задержку и высокую масштабируемость?

Несомненно, конкуренция за вычислительную инфраструктуру перешла на более глубокий этап. Каждая корректировка технологии оптических модулей, сетевой структуры и методов взаимодействия в отрасли будет влиять на результат. Вместо простого выбора между двумя направлениями более реалистичным решением может стать обеспечение совместной работы различных систем в рамках одной инфраструктуры. В соответствии с этой тенденцией также были предложены идеи, подобные "Scale-Across", как переходная форма, соединяющая эти два режима.