Что такое InfiniBand XDR и почему он важен для сетей ИИ

InfiniBand XDR — это важное решение, появившееся в связи с постоянно растущим масштабом кластеров обучения AI и быстрым увеличением обмена данными между GPU. Для крупных платформ обучения с десятками тысяч GPU сеть больше не является просто вспомогательной системой, а представляет собой критически важную инфраструктуру, влияющую на эффективность обучения. На этом фоне постоянное развитие технологии InfiniBand в сторону увеличения пропускной способности стало тенденцией, а InfiniBand XDR — это именно технология, отвечающая требованиям следующего этапа развития сетей AI.

Что такое InfiniBand XDR

InfiniBand XDR — новейший класс скорости в дорожной карте технологий InfiniBand, разработанный NVIDIA и ориентированный главным образом на вычислительные платформы следующего поколения для ИИ и среды высокопроизводительных вычислений. По сравнению со скоростью порта 400Gbps у предыдущего поколения NDR, XDR увеличивает пропускную способность одного порта до 800Gbps, обеспечивая значительное увеличение емкости сети.

С технической точки зрения XDR сохраняет ключевые преимущества InfiniBand — низкую задержку, высокую пропускную способность и RDMA, — одновременно объединяя высокоскоростные SerDes следующего поколения, коммутирующие микросхемы и технологии оптического межсоединения для обеспечения более мощных возможностей сетевой поддержки сверхкрупных кластеров GPU.

Проще говоря, XDR — это не просто удвоение скорости; это межсоединительная платформа следующего поколения, разработанная для удовлетворения будущих потребностей в масштабировании кластеров ИИ.

Почему для обучения ИИ требуются сети 800G или 1.6T

В традиционных корпоративных сетях большая часть трафика представляет собой трафик «север-юг», создаваемый пользователями при обращении к серверам. Среды обучения AI полностью отличаются: основной трафик в них проходит между серверами, то есть представляет собой трафик «восток-запад».

Во время обучения больших моделей многочисленные GPU должны часто обмениваться градиентами, параметрами модели и промежуточными результатами вычислений. Например, операция All-Reduce, распространенная в распределенном обучении, создает значительные требования к обмену данными между узлами.

По мере увеличения размера моделей с миллиардов параметров до сотен миллиардов или даже триллионов параметров объем сетевых коммуникаций также возрастает. Если сеть не может своевременно синхронизировать данные, GPU приходится ждать завершения передачи данных, что снижает общую степень загрузки.

Поэтому в современных кластерах ИИ производительность сети так же важна, как и производительность GPU.

Как InfiniBand XDR повышает эффективность кластеров ИИ

Во-первых, увеличилась пропускная способность. A 1.6T XDR Соединение может передавать больше обучающих данных за то же время, сокращая задержку синхронизации при распределенном обучении и повышая загрузку графических процессоров.

Во-вторых, обеспечивается лучшая масштабируемость. По мере роста кластеров ИИ также увеличивается количество портов коммутаторов и сетевых уровней. Более высокая скорость портов означает, что для достижения той же пропускной способности можно использовать меньше соединений, что упрощает проектирование сетевой архитектуры.

Кроме того, большая пропускная способность снижает нагрузку на узкие места и устраняет проблемы с перегрузкой. Когда тысячи узлов GPU одновременно обмениваются данными, сеть может предоставить больше ресурсов для передачи, уменьшая колебания производительности.

При обучении больших языковых моделей, мультимодальных моделей и выполнении задач научных вычислений эти преимущества напрямую приводят к повышению эффективности обучения.

Сети AI на базе InfiniBand XDR и Ethernet 

В последние годы решения Ethernet на базе RoCEv2 быстро развивались, при этом Ethernet 400G и 800G получили широкое распространение на рынке центров обработки данных для ИИ. Однако InfiniBand по-прежнему имеет значительное преимущество в сценариях обучения на сверхкрупномасштабных данных.

Во-первых, InfiniBand изначально разрабатывался для сред высокопроизводительных вычислений, а его механизм RDMA, управление перегрузками и возможности агрегированной передачи данных прошли длительную проверку.

Во-вторых, NVIDIA создала полноценную экосистему InfiniBand, включающую коммутаторы Quantum, сетевые карты ConnectX и программный стек CUDA. Эти компоненты работают совместно для оптимизации производительности обучения ИИ.

Для платформ искусственного интеллекта, которым необходимы максимальная производительность и минимальная задержка связи, InfiniBand остается предпочтительным решением для многих суперкомпьютерных центров и крупных кластеров обучения ИИ.

InfiniBand XDR стимулирует модернизацию высокоскоростных оптических соединений

По мере постепенного развертывания сетей XDR архитектуры оптических соединений центров обработки данных также будут соответствующим образом модернизироваться. Для каналов 800Gbps требуются коммутаторы и оптические модули с более высокой производительностью. В настоящее время доступны высокоскоростные оптические модули, такие как 800G OSFP, 800G OSFP SR8, 800G DR8 и 800G 2x FR4 постепенно становятся важными компонентами при построении сетей XDR.

Одновременно волоконно-оптическая кабельная инфраструктура, конструкция стоек и системы охлаждения также должны адаптироваться к требованиям развертывания с более высокой плотностью и пропускной способностью. Можно предположить, что модернизация сетей в центрах обработки данных с ИИ в ближайшие годы будет в основном связана с экосистемой межсоединений 800G.

Заключение

По мере увеличения размеров моделей ИИ сети становятся критически важным фактором, определяющим эффективность обучения. XDR, новейшее поколение технологии InfiniBand, благодаря пропускной способности 800G и 1.6T, архитектуре с низкой задержкой и отличной масштабируемости предоставляет более эффективную платформу межсоединений для будущих гипермасштабируемых кластеров GPU. В ходе продолжающейся эволюции инфраструктуры ИИ ожидается, что XDR станет одной из ключевых технологий, определяющих развитие интеллектуальных вычислительных центров следующего поколения.