В чем разница между InfiniBand и Ethernet?

В мире сетевых подключений InfiniBand и Ethernet имеют свои особенности, поэтому сложно сказать, какая технология лучше. Каждая из них развивалась для разных сценариев применения, что делает их двумя незаменимыми технологиями для построения сетей.

InfiniBand и Ethernet: что это такое?

Сети InfiniBand

InfiniBand и Ethernet сильно различаются по своей конструкции: InfiniBand превосходно подходит для кластеров суперкомпьютеров благодаря высокой надежности, низкой задержке и высокой пропускной способности, что делает его предпочтительной технологией интерконнекта для большинства серверов, особенно GPU-серверов. При скорости передачи данных 10 Гбит/с InfiniBand позволяет каждому каналу передавать сигналы с одинарной скоростью передачи (SDR) при базовой скорости 2,5 Гбит/с. Скорость отдельных каналов можно увеличить до 5 Гбит/с и 10 Гбит/с, что обеспечивает скорость передачи данных до 40 Гбит/с при использовании кабелей 4X и до 120 Гбит/с при использовании кабелей 12X; также поддерживаются сигналы InfiniBand со скоростью передачи данных 2x (DDR) и 4x (QDR).

Ethernet

С момента выпуска 30 сентября 1980 года Ethernet стал наиболее распространенным протоколом связи в локальных сетях. В отличие от InfiniBand, Ethernet был разработан с целью облегчить обмен информацией между несколькими системами. В основном он использует распределенную архитектуру и основан на совместимости. Традиционный Ethernet обычно использует TCP/IP для построения сети, которая в настоящее время развивается в направлении RoCE (RDMA over Converged Ethernet). В целом Ethernet можно использовать для подключения компьютеров и других устройств в локальной сети, например для установления соединения между компьютером и принтером или подключения принтера, сканера и подобных устройств к локальной сети. По оптоволокну можно подключать не только проводные сети, но и обеспечивать беспроводное подключение с помощью беспроводных технологий. К основным типам Ethernet относятся Fast Ethernet, Gigabit Ethernet, 10-гигабитный Ethernet, и коммутируемый Ethernet.

Различия между InfiniBand и Ethernet

В сценарии высокопроизводительных вычислений InfiniBand изначально разрабатывался для решения проблемы узкого места при передаче данных кластера и адаптации к требованиям времени. Поэтому между InfiniBand и Ethernet существуют очевидные различия с точки зрения пропускной способности, задержки, надежности сети, технологий и сценариев применения.

Пропускная способность

С момента своего появления InfiniBand опережает Ethernet. Основная причина заключается в том, что InfiniBand преимущественно используется для соединения серверов в высокопроизводительных вычислительных системах, тогда как Ethernet больше ориентирован на подключение конечных устройств с относительно низкими требованиями к пропускной способности. В результате стандарты Ethernet обычно учитывают только обеспечение совместимости, тогда как стандарты InfiniBand являются более комплексными: они направлены не только на совместимость, но и на снижение нагрузки на ЦП во время высокоскоростной передачи данных, эффективное использование пропускной способности и минимальное потребление ресурсов ЦП.

Когда сетевой трафик превышает 10G, использование ресурсов будет неэффективным, если вся инкапсуляция и декапсуляция пакетов выполняется процессором. Это похоже на использование дорогостоящих ресурсов CPU для выполнения простых задач передачи данных по сети, что неэффективно с точки зрения распределения ресурсов.

Чтобы справиться с этой проблемой, скорость SDR первого поколения InfiniBand составляла 10Gbps, поэтому была заимствована идея технологии DMA и выполнен обход CPU. Это не только увеличило пропускную способность передачи данных, но и снизило нагрузку на CPU благодаря внедрению технологии RDMA, что полностью решило эту проблему. При использовании RDMA CPU не приходится потреблять дополнительные ресурсы для обработки сетевых транзакций из-за значительного увеличения пропускной способности, поэтому общая производительность высокопроизводительных вычислений не снижается. Именно поэтому InfiniBand быстро эволюционировал от 10Gbps SDR до современных HDR 200Gbps, 400Gbps и даже 800Gbps XDR.

Сетевая задержка

InfiniBand и Ethernet существенно различаются с точки зрения задержки. Коммутаторы Ethernet используют коммутацию с сохранением и пересылкой и поиск в таблице MAC-адресов, что приводит к относительно длительному времени обработки. Напротив, коммутаторам InfiniBand для поиска пути пересылки требуется только 16-битный LID, и они используют технологию Cut-Through, сокращая задержку пересылки до менее чем 100 нс, что значительно быстрее.

Надёжность сети

В высокопроизводительных вычислениях потеря пакетов и повторная передача могут серьезно влиять на общую производительность, поэтому требуются высоконадежные сетевые протоколы. InfiniBand использует механизм класса обслуживания (CoS), реализованный с 1-го по 4-й уровень, поэтому он всегда является нисходящим и иерархическим, со статической передачей пакетов без потерь. Однако Ethernet не имеет механизма управления трафиком на основе планирования для эффективной обработки перегрузок сети. В результате коммутаторы Ethernet потребляют больше ресурсов буферной памяти при высоком трафике, а затраты на энергопотребление увеличиваются.

Подход к построению сети

С точки зрения сетевого взаимодействия InfiniBand относительно прост в управлении. Концепция SDN заложена в его конструкцию, и каждый менеджер подсети в сети отвечает за настройку идентификаторов сетевых узлов и единый расчёт путей пересылки. В сетях Ethernet, напротив, требуется периодически отправлять пакеты для обновления записей таблицы MAC и реализовывать механизм VLAN, что является относительно более сложным.

Топологии этих двух сетей также различаются: Ethernet поддерживает различные топологии, включая звездообразную, древовидную и другие топологии. Конструкцию можно гибко адаптировать для расширения сети в соответствии с потребностями. InfiniBand, напротив, обычно использует специализированную топологию (Fat Tree или Dragonfly и т. д.), оптимизированную для высокой пропускной способности и низкой задержки, но требующую более тщательного проектирования при масштабном расширении.

Сценарии применения

InfiniBand широко используется в средах высокопроизводительных вычислений благодаря высокой пропускной способности, низкой задержке и хорошей поддержке параллельных вычислений. Ethernet, с другой стороны, обычно используется в корпоративных сетях, домашних сетях и т. д. и по-прежнему занимает важное место на рынке благодаря низкой стоимости и преимуществам широкой стандартизации. По мере роста спроса на вычислительные мощности использование InfiniBand в 500 ведущих суперкомпьютерных центрах мира приобретает особое значение.

В то же время необходимо учитывать, что два аспекта совместимости сетей различаются. Что касается Ethernet, почти все сетевые устройства поддерживают подключение Ethernet. Для сетевых приложений легко использовать продукты разных производителей оборудования. InfiniBand, с другой стороны, хотя и имеет преимущество с точки зрения производительности, обычно использует специализированное оборудование, что накладывает множество ограничений с точки зрения совместимости и гибкости.

Введение в оптические трансиверы InfiniBand и Ethernet от QSFPTEK

QSFPTEK может предоставить оптические модули InfiniBand 400G NDR и оптические модули InfiniBand 800G NDR, The 800G OSFP PAM4 Оптические трансиверы широко используются в центрах обработки данных, а также в приложениях 800G и 2x 400G. Что касается Ethernet-модулей, доступны оптические Ethernet-трансиверы от 1G до 800G. Помимо стандартных модулей, также доступны WDM-трансиверы и когерентные трансиверы с различными скоростями. Каждое оптическое устройство QSFPTEK на 100% тестируется в фирменном коммутаторном оборудовании, чтобы обеспечить безупречную работу продукта.

Заключение

InfiniBand и Ethernet подходят для разных сценариев. InfiniBand может значительно повысить скорость передачи данных и снизить нагрузку на ЦП, что приводит к более высокой загрузке сети, поэтому он является одним из основных решений в сфере HPC. В будущем, вероятно, появятся продукты InfiniBand с еще более высокой скоростью. Если требования к задержке между центрами обработки данных невысоки, а гибкость и масштабируемость имеют большее значение, Ethernet, безусловно, является вариантом, который стоит рассмотреть.