Как работает создание сетей в центрах обработки данных с использованием ИИ?

Что такое сетевое взаимодействие в центре обработки данных с использованием ИИ?

Сеть центра обработки данных для ИИ — это сетевая инфраструктура в центре обработки данных, обеспечивающая функции искусственного интеллекта (AI). Сеть, поддерживающая эти функции, требует более высокой масштабируемости, высокой производительности и низкой задержки по сравнению с сетями предыдущего поколения. Рабочие нагрузки искусственного интеллекта (AI) и машинного обучения (ML) более требовательны, чем обычные сетевые задачи, особенно во время интенсивных этапов обучения ИИ.

Быстрая и эффективная связь InfiniBand между серверами и системами хранения данных сделала эту сетевую технологию популярной проприетарной технологией для высокопроизводительных вычислений (HPC) и сетей обучения ИИ. Впоследствии Ethernet получил значительное распространение на рынке сетей центров обработки данных для ИИ как открытая альтернативная технологическая платформа и может стать доминирующей технологией в будущем.

Существует несколько причин растущего внимания к Ethernet в сетях центров обработки данных для ИИ, причем операционная эффективность и контроль затрат являются первыми и наиболее очевидными. С технической точки зрения управления сетями, сегодня существует большое количество сетевых инженеров, способных создавать и управлять сетями Ethernet, тогда как специалистов по проприетарным сетям InfiniBand значительно меньше. Во-вторых, контроль затрат также является важной причиной. Для оборудования центров обработки данных для ИИ с сегодняшними Ethernet 400Gb, общая стоимость значительно ниже, чем у решений InfiniBand, оборудования InfiniBand и инструментов управления, которые в основном поставляются Nvidia, тогда как Ethernet обеспечивает широкий доступ к инструментам управления сетью.

Как работает создание сетей в центрах обработки данных с использованием ИИ?

Помимо того, что серверы с GPU массово разворачиваются для удовлетворения огромных вычислительных потребностей центров обработки данных для ИИ, из-за чего общая стоимость увеличивается, сетевым компонентам центров обработки данных для ИИ также необходимо повысить эффективность использования GPU, а это означает необходимость более эффективной организации сети. Ethernet — проверенная технология с открытой архитектурой и подходящее решение для сетей центров обработки данных для ИИ, которое можно специально адаптировать к требованиям сетевого взаимодействия при рабочих нагрузках ИИ. Ее сетевая архитектура повышает эффективность за счет управления перегрузками, балансировки нагрузки и низкой задержки, оптимизируя время выполнения заданий (JCT). Упрощенное управление и автоматизация также способствуют надежности сети и стабильной производительности.

Проектирование фабрики

В сети центра обработки данных для ИИ можно использовать различные архитектурные решения, однако рекомендуется выбрать неблокирующую архитектуру Clos «любой-к-любому». Эта конструкция оптимизирует среду обучения за счет обеспечения стабильной скорости сети 400 Гбит/с (с возможным увеличением до 800 Гбит/с) от NIC до уровня leaf и магистрального уровня. В зависимости от размера GPU и размера модели можно реализовать двухуровневую или трехуровневую неблокирующую структуру, а также трехуровневую или пятиуровневую неблокирующую структуру.

Управление потоком и предотвращение перегрузок

Помимо пропускной способности Fabric, для повышения надёжности и эффективности Fabric в целом критически важны и другие конструктивные факторы. К ним относятся межсоединения Fabric подходящего размера с оптимальным количеством линий, а также возможность выявлять и корректировать дисбаланс трафика во избежание перегрузки и потери пакетов. Explicit Congestion Notification (ECN), Data Center Quantified Congestion Notification (DCQCN) и Priority-Based Flow Control устраняют дисбаланс трафика, обеспечивая передачу данных без потерь.

На коммутаторах применяется динамическая и адаптивная балансировка нагрузки для уменьшения перегрузки данных. Динамическая балансировка нагрузки и локальное перераспределение трафика на коммутаторе обеспечивают равномерное распределение трафика. Адаптивная балансировка нагрузки отслеживает таблицы пересылки трафика и следующей передачи, чтобы выявлять дисбаланс и направлять трафик в обход перегруженных путей.

ECN заранее уведомляет приложения, когда перегрузка сети неизбежна. В это время leaf- и spine-коммутаторы обновляются пакетами с поддержкой ECN, чтобы уведомить отправителя о перегрузке и позволить ему снизить скорость передачи во избежание потери пакетов. Если отправитель не реагирует своевременно, Priority-based Flow Control (PFC) позволяет приемникам и отправителям Ethernet обмениваться информацией о доступности буфера. Наконец, во время перегрузки leaf- и spine-коммутаторы приостанавливают или ограничивают трафик по определенным каналам, чтобы уменьшить перегрузку и предотвратить потерю пакетов, обеспечивая передачу определенных классов трафика без потерь.

Масштабируемость и производительность

Решения Ethernet стали предпочтительными открытыми стандартами для работы с приложениями HPC и AI. Взгляд в будущее (800GbE и технология объединения сетей центров обработки данных (DCB)), более высокая скорость, надежность и масштабируемость Ethernet делают его способным обрабатывать высокую пропускную способность и обеспечивать низкую задержку, необходимые для критически важных приложений искусственного интеллекта.

Автоматизация

Автоматизация может помочь сетевым решениям для центров обработки данных с ИИ эффективно завершить последний цикл; не вся автоматизация одинакова, и для реализации полной ценности сетевой емкости программное обеспечение автоматизации должно обеспечивать эксплуатацию, ориентированную прежде всего на удобство работы. Она может использоваться на английском языке при проектировании, развертывании и управлении центрами обработки данных с ИИ. Она обеспечивает повторяемое и постоянно проверяемое проектирование и развертывание центров обработки данных с ИИ; помимо устранения ошибок, вызванных человеческим фактором, она также может использовать данные телеметрии и трафика для оптимизации производительности, содействовать проактивному устранению неисправностей и предотвращать сбои в работе сети.

Зачем сетям центров обработки данных для ИИ соответствовать требованиям, обусловленным ИИ?

Сеть центра обработки данных для ИИ отвечает требованиям, обусловленным генеративным ИИ и крупномасштабными моделями глубокого обучения ИИ. Разработка моделей ИИ включает три этапа:

Этап 1: Подготовка данных - сбор и организация наборов данных для обучения моделей ИИ.

Этап 2: обучение ИИ - обучение модели ИИ путем предоставления ей больших объемов данных, чтобы она изучала закономерности и взаимосвязи для развития интеллекта.

Этап 3: вывод AI-моделей — применение обученных моделей в реальных сценариях для формирования прогнозов или принятия решений на основе новых, неизвестных данных.

Хотя на этапе 3 обычно используются существующие центры обработки данных и облачные сети, этап 2 (обучение ИИ) требует значительных ресурсов данных и вычислительных ресурсов для поддержки итеративного процесса обучения. Графические процессоры (GPU) обычно используются для обучения и вывода ИИ, часто в кластерных конфигурациях для повышения эффективности. Однако масштабирование кластеров может увеличить затраты, что подчеркивает важность сетей центров обработки данных ИИ, которые не снижают эффективность кластеров.

Обучение больших моделей требует подключения большого количества GPU-серверов, иногда десятков тысяч, стоимость каждого из которых в 2023 году превышала $400,000. Поэтому оптимизация времени выполнения заданий и минимизация задержки в хвосте, при которой аномальные рабочие нагрузки ИИ замедляют общее выполнение заданий, имеют решающее значение для максимизации отдачи от инвестиций в GPU. В этом контексте сети центров обработки данных ИИ должны быть надежными и не допускать снижения эффективности кластера.

Часто задаваемые вопросы о сетях центров обработки данных для ИИ 

Какую проблему решает сеть центра обработки данных для ИИ?

Искусственный интеллект предъявляет очень высокие требования к большим объемам данных и вычислительным ресурсам, необходимым для генеративного ИИ и глубокого обучения, чтобы поддерживать итеративный процесс разработки моделей, в ходе которого модели ИИ обучаются на постоянно собираемых данных и совершенствуют свои параметры. Графические процессоры хорошо подходят для задач обучения и вывода ИИ, однако помимо создания кластеров GPU крупным центрам обработки данных необходимо повышать эффективность моделей ИИ по мере масштабирования кластеров. Этот процесс также увеличивает затраты, поэтому крайне важно использовать сеть центров обработки данных ИИ, которая не снижает эффективность кластеров.

Ethernet и InfiniBand: что лучше для сетей центров обработки данных ИИ?

Хотя InfiniBand, являясь проприетарной технологией, принесла определенный прогресс и инновации в область технологий ИИ, использование оборудования InfiniBand обходится дорого, его стоимость невозможно снизить в условиях конкурентного рынка спроса и предложения, а также оно требует привлечения специалистов по проприетарным сетевым технологиям. Ethernet, с другой стороны, является самой широко используемой сетевой технологией в мире после IP и также может удовлетворить требованиям приложений ИИ к высокой пропускной способности и низкой задержке; в настоящее время доступны варианты технологии Ethernet 800GbE с расширенными возможностями Data Center Bridging (DCB). Для технологии InfiniBand, поставляемой преимущественно компанией NVIDIA, в сетях Ethernet доступно более широкое разнообразие инструментов управления, чем в сетях InfiniBand. Таким образом, фабрики Ethernet становятся идеальным решением для высокоприоритетного и критически важного трафика ИИ.