InfiniBand или RoCE: как выбрать

Будучи двумя основными решениями для реализации RDMA, InfiniBand и RoCE играют ключевую роль в высокопроизводительных вычислениях и сетях центров обработки данных благодаря низкой задержке и высокой пропускной способности. Как выбрать между ними при построении сети? В этой статье подробно рассматриваются оба решения, их характеристики и сравнение.

Введение в InfiniBand и его принципы

Сеть InfiniBand обеспечивает передачу данных с низкой задержкой и высокой пропускной способностью благодаря использованию компонентов InfiniBand, обычно включающих коммутаторы InfiniBand, кабели, сетевые карты, модули и менеджеры подсетей. В ней используется модель связи «точка — точка» и реализуется прямая передача данных между хостами с помощью технологии прямого доступа к памяти, что снижает нагрузку на ЦП, связанную с вмешательством и копированием данных. QSFPTEK предоставляет вам модули InfiniBand, которые характеризуются стабильной передачей данных и низким энергопотреблением.

Особенности технического решения InfiniBand

Сеть InfiniBand использует механизм управления потоком на основе кредитов для обеспечения надёжности и эффективности передачи данных. Перед передачей данных отправитель проверяет, достаточно ли у получателя буфера для приёма соответствующего количества пакетов данных согласно кредитному лимиту, предоставленному получателем. Каждое соединение оснащено предварительно заданным буфером, а передача данных отправителем ограничивается размером доступного буфера получателя. После завершения передачи данных получатель освобождает буфер и сообщает отправителю о текущем размере доступного буфера. Этот механизм управления потоком на уровне соединения эффективно предотвращает переполнение буфера и потерю пакетов данных, обеспечивая стабильность и высокую производительность сети.

С точки зрения пропускной способности, задержки и масштабируемости InfiniBand обеспечивает пропускную способность до 400Gbps и сквозную задержку всего 1.6 микросекунды, что позволяет удовлетворить потребности крупномасштабной передачи данных и вычислений в реальном времени. InfiniBand также обладает высокой масштабируемостью, поддерживает крупномасштабные кластеры, может подключать десятки тысяч серверов и отлично подходит для вычислительных сред сверхбольшого масштаба.

Однако для реализации InfiniBand необходимо приобрести специализированные сетевые карты InfiniBand, коммутаторы и другое оборудование, которые стоят дорого.

Введение в RoCEv2 и принцип его работы

RoCEv2 — это протокол RDMA на базе Ethernet, обеспечивающий удалённый прямой доступ к памяти в сетях Ethernet. Однако, в отличие от InfiniBand, он обеспечивает высокопроизводительную связь RDMA на базе существующей инфраструктуры. В отличие от InfiniBand, который использует диспетчер подсети для централизованного управления, сети RoCEv2 работают как полностью распределённые сети и обычно используют двухуровневую архитектуру. QSFPTEK's Коммутаторы RoCE поддерживают RoCEv1 и RoCEv2, обеспечивая совместимость со всеми устройствами в вашей сети.

Особенности технического решения RoCEv2

RoCEv2 отличается высокой универсальностью и низкой стоимостью по сравнению с InfiniBand. Его можно использовать в высокопроизводительных сетях RDMA и традиционных сетях Ethernet без необходимости в дополнительном оборудовании или изменении сетевых устройств. Однако требуется настроить на коммутаторе такие параметры, как headroom, PFC и ECN, что несколько усложняет конфигурацию. При крупномасштабном развертывании, особенно при наличии большого количества сетевых карт, производительность сети с точки зрения пропускной способности будет несколько ниже по сравнению с сетями InfiniBand.

InfiniBand против RoCEv2

Пропускная способность и задержка: По сравнению с RoCEv2, InfiniBand обладает более высокой пропускной способностью и меньшей задержкой, что подходит для сценариев применения с чрезвычайно высокими требованиями к производительности сети. Хотя RoCEv2 несколько уступает, его достаточно для удовлетворения большинства потребностей высокопроизводительных вычислений.

Совместимость и стоимость: Оборудование InfiniBand, как правило, стоит дорого. Для реализации сети InfiniBand необходимо использовать оборудование InfiniBand, поэтому его стоимость высока. RoCEv2 совместим с существующим оборудованием Ethernet. Необходимо лишь добавить устройства с поддержкой RoCEv2, что снижает затраты на развертывание и обслуживание. Оборудование InfiniBand выпускается только одним производителем, тогда как оборудование RoCEv2 поддерживается несколькими производителями.

Масштабирование: InfiniBand поддерживает десятки тысяч серверов и подходит для более крупных вычислительных сред. RoCEv2 подходит для небольших и средних центров обработки данных и кластеров.

Сложность конфигурации: Конфигурация RoCEv2 относительно сложна, и коммутатор необходимо тщательно настроить для обеспечения его производительности и надежности. Конфигурация InfiniBand относительно проста и удобна в управлении.

Заключение

InfiniBand и RoCEv2 имеют свои преимущества, и выбор необходимо делать с учетом сценария применения. InfiniBand подходит для сверхкрупных центров обработки данных с десятками тысяч серверов. Он обеспечивает меньшую задержку и более высокую пропускную способность, а также прост в настройке при развертывании, но его стоимость выше. RoCEv2 подходит для малых и средних центров обработки данных с тысячами серверов. Он имеет более низкую стоимость, но его настройка сложнее.