Медные соединения не обеспечивают масштабирование центров обработки данных для ИИ

Рабочие нагрузки ИИ меняют сети центров обработки данных, повышая важность большей пропускной способности и масштабируемости. По мере дальнейшего увеличения скоростей медные соединения достигают своих пределов в крупномасштабных средах ИИ.

Центры обработки данных для ИИ меняют сетевую инфраструктуру

Переход от традиционного трафика данных к рабочим нагрузкам ИИ 

Традиционный трафик центра обработки данных в основном поддерживает такие приложения, как облачные сервисы, базы данных и веб-платформы. Эти рабочие нагрузки обычно предусматривают предсказуемое взаимодействие между серверами и системами хранения данных. Рабочие нагрузки ИИ отличаются. Обучение крупных моделей ИИ требует непрерывного обмена огромными объемами данных между тысячами графических процессоров, поэтому высокоскоростная сеть с низкой задержкой имеет критическое значение для производительности. По мере увеличения размеров моделей ИИ центры обработки данных переходят на более быстрые соединения, такие как 800G и 1.6T для снижения узких мест в передаче данных и максимального использования графических процессоров.

Почему архитектура масштабирования добавлением узлов меняет все? 

Современные центры обработки данных с ИИ используют архитектуры scale-out, объединяющие тысячи графических процессоров и серверов в единую вычислительную систему. В этой модели сеть играет критически важную роль, обеспечивая эффективное взаимодействие между вычислительными ресурсами.

Однако более крупные кластеры ИИ требуют большего количества подключений и более высокой пропускной способности. Традиционные решения на основе медных соединений, которые подходили для небольших сред, становится все труднее масштабировать. Этот переход побуждает центры обработки данных внедрять передовые технологии подключения, способные поддерживать более высокую плотность и более крупные рабочие нагрузки ИИ.

Почему медный кабель подвергается переоценке? 

Обучение моделей ИИ больше не выполняется на одном GPU. Вместо этого тысячи GPU должны работать вместе как распределённая вычислительная система, постоянно обмениваясь огромными объёмами данных. Во время обучения графические процессоры должны обеспечивать синхронизацию промежуточных результатов. Даже небольшие задержки в обмене данными могут снизить степень использования графического процессора и повлиять на общую эффективность обучения. По мере повышения мощности моделей ИИ объём используемых ими данных достигает уровня Tbps, что создаёт нагрузку на традиционные медные кабели. Проблема больше не ограничивается вычислительной мощностью — важна эффективность передачи данных между графическими процессорами. По мере расширения кластеров ИИ от сотен до тысяч ускорителей подключение стало критически важным фактором, ограничивающим масштабируемость.

Физические ограничения медной проводки в высокоскоростных сетях 

Затухание сигнала

Электрические сигналы постепенно теряют силу: чем больше расстояние передачи, тем слабее становится сигнал, из-за чего сложнее поддерживать надежную передачу данных.

По мере увеличения скорости сетей уровень сигнала становится более серьёзной проблемой. Более высокие скорости означают более высокие частоты, на которых сигнал сильнее ослабевает с расстоянием. Это затрудняет использование медные соединения в крупных центрах обработки данных для ИИ.

Перекрестные помехи

Перекрестные помехи создают скрытую проблему для медных кабелей. Когда большое количество медных проводов уложено плотно, электрические сигналы начинают влиять друг на друга. По мере масштабирования центров обработки данных для ИИ и роста числа высокоскоростных соединений внутри стоек проблема перекрестных помех становится еще более выраженной.

Электромагнитные помехи

Медные кабели передают данные с помощью электрических сигналов. Это делает их уязвимыми к электромагнитным помехам (EMI) от находящихся поблизости электронных устройств, силовых кабелей и других сетевых подключений. В центрах обработки данных с большим объемом данных ИИ тысячи высокоскоростных подключений работают одновременно. Это может усилить потенциальное воздействие EMI.

Энергопотребление

В эпоху инфраструктуры ИИ, когда отдельные графические процессоры уже могут потреблять более 1 000 Вт, операторы центров обработки данных испытывают все большее давление, вынуждающее оптимизировать каждую составляющую энергетического бюджета. Выделение дополнительной энергии на высокоскоростную передачу по медным кабелям становится менее привлекательным, особенно по мере дальнейшего масштабирования сети.

Плотность кабелей и тепловые проблемы 

Высокоскоростные медные кабели толще и тяжелее оптоволоконных кабелей. Это затрудняет их использование в крупномасштабных центрах обработки данных для ИИ, где пространство и воздушный поток имеют критическое значение.

По мере роста кластеров ИИ количество сетевых подключений внутри каждой стойки значительно увеличивается. Плотная медная кабельная разводка может усложнить управление кабелями, занять больше места в стойке и ограничить воздушный поток, что затрудняет контроль температуры.

Продолжающаяся роль меди в центрах обработки данных для ИИ

Медные соединения внутри стойки

Несмотря на растущее распространение оптических решений, медь по-прежнему играет важную роль в подключениях внутри ИИ-центров обработки данных на коротких расстояниях. В пределах стойки, где расстояния обычно ограничены несколькими метрами, медные кабели, такие как DAC, обеспечивают высокоскоростное соединение между серверами, графическими процессорами и коммутаторами при меньшей стоимости и более простом развертывании.

Экономичность в сценариях с короткими расстояниями  

Медный кабель по-прежнему является наиболее экономичным вариантом для приложений с малой дальностью передачи. Медные кабели имеют простую конструкцию и не требуют оптических компонентов, что делает их подходящими для приложений, не требующих передачи на большие расстояния, по сравнению с оптическими модулями.

Медь как локальная оптимизация, а не масштабируемое решение

Но медь не является постоянным решением для огромных сетей ИИ. По мере роста требований к пропускной способности потеря сигнала, энергопотребление и ограниченная дальность действия создают проблемы с финансированием. Поэтому медь останется локальным оптимальным решением для коротких соединений, а оптоволокно станет масштабируемой инфраструктурой центров обработки данных ИИ.

Как оптоволокно решает проблему ограничений масштабирования меди

Низкие потери сигнала обеспечивают дальнюю связь

Одно из главных преимуществ оптического волокна заключается в том, что оно отлично передаёт сигналы на большие расстояния. Медные кабели ослабевают, когда сигналу приходится проходить всё большее расстояние, а оптоволокно может передавать данные на большие расстояния практически без потери сигнала. Это делает его идеальным для использования в крупномасштабных сетях центров обработки данных для ИИ.

Высокая масштабируемость пропускной способности для будущих скоростей передачи данных

Оптоволокно обеспечивает необходимую масштабируемость пропускной способности для поддержки уровней скорости передачи данных, обусловленных рабочими нагрузками ИИ следующего поколения. Волокно является критически важной технологией для масштабирования инфраструктуры ИИ в будущем, поскольку оно поддерживает соединения 400G, 800G и более высоких скоростей.

Невосприимчивость к электромагнитным помехам

В отличие от электрических сигналов, использующих электричество, оптическое волокно передаёт данные с помощью света. Поэтому оно невосприимчиво к EMI. Это обеспечивает более стабильную и надёжную связь в местах, где одновременно работает множество центров обработки данных с ИИ и тысячи высокопроизводительных компонентов.

Превосходная масштабируемость на уровне системы

Оптоволокно лучше подходит для систем, поскольку позволяет создавать более крупные системы. Его меньший размер, меньший вес и более высокая плотность портов помогают центрам обработки данных эффективнее использовать пространство, энергопотребление и возможности охлаждения. По мере роста кластеров ИИ оптоволокно необходимо для построения более крупных, быстрых и эффективных сетей.

Гибридная архитектура сети в современных центрах обработки данных ИИ

Разделение подключений внутри стойки и между стойками

По мере масштабирования центров обработки данных для ИИ появляется гибридная сетвая архитектура, объединяющая преимущества меди и оптического волокна. Вместо полного отказа от меди современная инфраструктура ИИ движется к подходу «оптика в первую очередь, медь в качестве дополнения».

Медь по-прежнему подходит для соединений внутри стойки, поскольку небольшие расстояния, более низкая стоимость и простота развертывания являются важными факторами. С другой стороны, для соединений между стойками и на больших расстояниях широко используется оптическое волокно, когда требуются высокая пропускная способность, низкие потери сигнала и лучшая масштабируемость.

Заключение

Хотя центры обработки данных с AI продолжают масштабироваться, масштабируемость медных соединений подошла к концу. Хотя медь по-прежнему используется для коротких соединений внутри стойки, постоянно растущие требования рабочих нагрузок AI к более высокой пропускной способности, большей дальности передачи и повышенной эффективности невозможно удовлетворить с помощью современной медной технологии. Оптическое волокно становится основой инфраструктуры AI следующего поколения, обеспечивая более быстрое и стабильное функционирование гипермасштабируемых центров обработки данных для поддержки более сложных систем AI.