Изучение различий между InfiniBand EDR и Ethernet 100 Гбит/с

В связи с непрерывным расширением сценариев высокопроизводительных вычислений и искусственного интеллекта требования центров обработки данных к пропускной способности сети, задержке и эффективности продолжают расти. 100G InfiniBand и 100G Ethernet как две основные технологии демонстрируют очевидные различия в производительности и архитектурных концепциях и стали предметом сложного выбора для многих предприятий при развертывании сетей. Здесь мы проанализируем технические характеристики, реализацию RDMA, производительность и сценарии применения этих двух решений, чтобы помочь вам разобраться и сделать правильный выбор технологии для вашего бизнеса.

Концепция инфраструктуры и проектирования InfiniBand и Ethernet

Что такое InfiniBand EDR?

InfiniBand EDR (Enhanced Data Rate) — это технология сетевого взаимодействия, разработанная для сред высокопроизводительных вычислений. Её наиболее важной особенностью является высоконастраиваемая архитектура, поддерживающая передачу данных без копирования на аппаратном уровне, обход ядра при обмене данными и механизмы управления потоком от начала до конца, что обеспечивает задержку на уровне микросекунд или даже долей микросекунды и чрезвычайно высокую эффективность использования полосы пропускания.

Сетевая архитектура InfiniBand использует специализированную микросхему коммутации, работающую совместно с адаптерами хост-каналов (HCAs), а также механизм передачи без потерь и функции адаптивной маршрутизации, что делает её идеальной для суперкомпьютерных кластеров. Сетевая архитектура InfiniBand задействует специализированную микросхему коммутации, работающую совместно с адаптерами хост-каналов (HCAs), с механизмами передачи без потерь и адаптивной маршрутизацией, что делает её идеальной для суперкомпьютерных кластеров, узлов обучения ИИ и других сред с чрезвычайно высокими требованиями к производительности.

Что такое Ethernet?

С другой стороны, 100G Ethernet использует более стандартную сетевую архитектуру, опираясь на известные стандарты Ethernet и широкий набор протоколов, что обеспечивает совместимость, простоту использования и низкую стоимость. Его преимущество заключается в возможности быстрой интеграции в существующие инфраструктуры корпоративных сетей и облачных вычислений, поддержки крупномасштабных распределенных развертываний и сценариев с несколькими арендаторами, что делает его одним из наиболее широко используемых решений в центрах обработки данных и коммерческих сетях.

Сравнение реализации протокола RDMA в InfiniBand EDR и Ethernet 100G

Технология прямого доступа к памяти (RDMA) является ключевым фактором эффективной передачи данных: она позволяет обходить обработку ядром, снижать задержку и уменьшать нагрузку на ЦП. В этом отношении InfiniBand и Ethernet используют разные технологические подходы.

InfiniBand изначально поддерживает RDMA и был разработан на основе этой технологии, обеспечивая такие механизмы, как передача без копирования, обход ядра и передача без потерь благодаря аппаратному управлению потоком и виртуальным каналам. Его HCA (адаптеры канала хоста) и коммутационные микросхемы оптимизированы для такого типа высокопроизводительной передачи, образуя замкнутую, но эффективную технологическую систему.

Ethernet, с другой стороны, использует RoCE (RDMA over Converged Ethernet) и iWARP для реализации возможностей RDMA. RoCEv2, основное решение, работает поверх уровня UDP, устраняя проблему недостаточной масштабируемости при крупномасштабных развертываниях, характерную для более ранних версий, но требует более высокой без потерь от базовой сети, например необходимости включения таких механизмов, как Priority Flow Control (PFC). iWARP, с другой стороны, в большей степени зависит от стека TCP, что, хотя и предъявляет меньшие требования к структуре сети, приводит к более высокой задержке и повышенной нагрузке на CPU.

Сравнение производительности InfiniBand EDR и Ethernet 100G

Согласно общедоступным данным сравнительного тестирования, различия в задержке и пропускной способности между двумя сетевыми решениями также более очевидны. В тестах с использованием OpenMPI и инструмента OSU Micro-Benchmarks, InfiniBand EDR передаёт небольшие пакеты примерно на 10% быстрее, чем RoCEv2, при этом средняя задержка составляет несколько микросекунд или менее. Задержка в стандартных сетях Ethernet обычно превышает 10 микросекунд из-за ограничений программного стека и механизмов буферизации.

Что касается пропускной способности, InfiniBand обеспечивает загрузку канала на уровне 99% при почти полной нагрузке благодаря механизмам адаптивной маршрутизации и управления перегрузками. Производительность RoCEv2 также может достигать примерно 90–95%, но только если сетевая среда оптимизирована для глубокого управления потоками; в противном случае из-за потери пакетов возможны колебания производительности.

Различия в сценариях применения InfiniBand EDR и Ethernet 100G

В высокопроизводительных вычислениях (HPC) InfiniBand является основным выбором, особенно для задач, требующих обмена данными по MPI, где низкая задержка и стабильная пропускная способность обладают незаменимыми преимуществами. Сценарии искусственного интеллекта, особенно крупномасштабное распределенное обучение, также в значительной степени зависят от его исключительно высокой эффективности синхронизации между узлами.

В сценариях облачных центров обработки данных, корпоративных систем хранения данных и виртуализации преимущества RoCEv2 постепенно становятся все более очевидными. Она совместима с существующими архитектурами Ethernet, адаптируется к платформам SDN и NFV и способна обеспечивать возможности RDMA, близкие к возможностям InfiniBand, без дополнительных затрат на оборудование. Кроме того, благодаря поддержке iSER (расширение iSCSI на основе RDMA) предприятия могут создавать эффективные системы NAS/SAN без необходимости полностью переходить на архитектуру InfiniBand.

Системы высокочастотной торговли в финансовой отрасли по-прежнему обычно используют InfiniBand для обеспечения задержки на уровне наносекунд, тогда как для сред со смешанной нагрузкой, например виртуализированных кластеров, где выводы ИИ выполняются одновременно с обычной аналитикой данных, RoCE и iWARP предлагают более экономичные варианты.

Заключение

InfiniBand остается безоговорочным выбором, когда требуются максимальная производительность, а бюджет ограничен. Однако в более типичных корпоративных сценариях, где важны масштабируемость и гибкость развертывания, Ethernet 100G с технологией RDMA предлагает разумный компромисс. Окончательное решение зависит не только от технических характеристик, но и от направления развития текущей сетевой архитектуры и особенностей бизнес-нагрузки.

Какой бы путь вы ни выбрали, надежные оптические модули одинаково важны. Модули 100G, такие как предоставляемые QSFPTEK, отличающиеся высокой совместимостью и проверенные в реальных условиях эксплуатации, помогут вам легко выполнить модернизацию сети и обеспечить стабильную и эффективную передачу данных в различных технологических системах.