Что такое RDMA через конвергентный Ethernet?

RoCE — это технология, которая отвечает требованиям приложений с высокой пропускной способностью и высокой производительностью. Традиционный протокол TCP/IP характеризуется высокой задержкой и неэффективным использованием пропускной способности и не может удовлетворить растущие потребности сетей, поэтому была разработана технология RoCE. Она интегрирует удаленный доступ к памяти в Ethernet с помощью технологии RDMA, значительно повышая эффективность передачи данных и снижая задержку. В этой статье мы подробно рассмотрим, что такое RoCE, чтобы вы смогли глубоко понять эту технологию.

Что такое сеть RoCE

RoCE (RDMA over Converged Ethernet) — это технология удаленного прямого доступа к памяти (RDMA) на базе Ethernet, предназначенная для передачи данных по сети Ethernet без потерь с низкой задержкой и высокой пропускной способностью. Технология RoCE внедряет технологию RDMA, используемую в высокопроизводительных вычислениях и сетях, в стандартную инфраструктуру Ethernet, наделяя традиционный Ethernet возможностями RDMA и характеристиками высокопроизводительных вычислений. Поэтому технология RoCE обладает значительными преимуществами как Ethernet, так и RDMA.

Технология RoCE позволяет достичь высокой производительности, сопоставимой с InfiniBand, в существующих сетях Ethernet. Она снижает задержку и увеличивает пропускную способность за счёт оптимизации протоколов Ethernet. По сравнению с традиционным Ethernet: RoCE обеспечивает меньшую задержку и более высокую пропускную способность, сохраняя при этом высокую совместимость с существующими устройствами Ethernet.

Преимущества RoCE: Основными преимуществами RoCE являются экономичность и совместимость. Поскольку технология основана на стандартах Ethernet, она может использовать представленное на рынке зрелое сетевое оборудование и кабели, не зависит от ограничений одного бренда или региона и отличается стабильным циклом поставок и качественным послепродажным обслуживанием. Важно и то, что она обладает отличной совместимостью с Ethernet и соответствующим оборудованием, значительно повышая гибкость и снижая затраты. Поэтому технология RoCE все шире применяется в центрах обработки данных, высокопроизводительных системах хранения HPC, искусственном интеллекте и других областях, становясь экономичной технологией соединения GPU-серверов. QSFPTEK предоставляет Коммутаторы L3/L3+ которые поддерживают RoCE2.

Развитие и типы RoCE

RoCE v1

В апреле 2010 года IBTA выпустила RoCE. Этот стандарт был выпущен как дополнение к спецификации архитектуры Infiniband, поэтому его также называют IBoE (InfiniBand over Ethernet). В то время стандарт RoCE заменил сетевой уровень TCP/IP сетевым уровнем IB на канальном уровне Ethernet, поэтому он не поддерживал IP-маршрутизацию и получил название RoCE v1.

RoCE v1 (уровень 2) работает на канальном уровне Ethernet (уровень 2), поэтому typeID протокола RoCE v1 на уровне Ethernet имеет значение 0x8915; таким образом, обычный размер кадра составляет 1500 байт, а Jumbo Frame — 9000 байт.

RoCE v1 — это протокол RDMA, реализованный на канальном уровне Ethernet (коммутатор должен поддерживать технологии управления потоком, такие как PFC, для обеспечения надёжной передачи на физическом уровне), позволяющий двум хостам в одной VLAN обмениваться данными.

RoCE v2

Поскольку кадр данных RoCE v1 не содержит заголовка IP, он может обмениваться данными только внутри подсети L2. Для решения этой проблемы IBTA предложила RoCE V2 в 2014 году. RoCE v2 является расширением RoCE v1: заголовок GRH (Global Routing Header) заменен заголовком UDP + заголовком IP. RoCE v2 устраняет ограничение RoCE v1, связанное с привязкой к одной VLAN. Благодаря изменению инкапсуляции пакетов, включая заголовки IP и UDP, RoCE v2 можно использовать в сетях L2 и L3. Расширенная структура кадра показана на рисунке ниже.

RoCE v2 (уровень 3) работает поверх UDP/IPv4 или UDP/IPv6 (уровень 3) и использует UDP-порт 4791 для передачи данных. Поскольку пакеты RoCE v2 могут маршрутизироваться на уровне 3, RoCE v2 также называют маршрутизируемым RoCE или сокращенно RRoCE.

RoCE v2 является развитием и усовершенствованием RoCE v1 предыдущего поколения. Благодаря внедрению ряда улучшений он эффективно устраняет исходные ограничения и всесторонне повышает производительность. Версия второго поколения RoCE v2 выделяется значительным повышением производительности и большей гибкостью и стала основным решением на рынке.

Реализация RoCE

Для обеспечения межсоединения RoCE сетевое устройство должно установить драйвер с поддержкой RoCE. Все Ethernet NIC (сетевые карты) должны поддерживать сетевые адаптеры RoCE (то есть сетевые карты RoCE). Драйверы RoCE доступны в Red Hat, Linux, Windows и других распространенных операционных системах. Поэтому для реализации сетей RoCE требуются три метода:

a. Для серверов или хост-устройств необходимо использовать сетевые карты RoCE для подключения.

b. Для сетевых коммутаторов выбирайте модели с поддержкой операционных систем PFC. PFC, или управление приоритетом потока, является одним из необходимых средств построения Ethernet без потерь. Оно обеспечивает управление потоком на основе приоритетов на каждом переходе. Этот метод управления отдельными потоками позволяет сети сохранять стабильную работу при перегрузке части трафика, предотвращая при этом помехи для другого трафика и обеспечивая высокую пропускную способность и низкую задержку.

с. Создайте интеллектуальную архитектуру Ethernet без потерь.

Сетевая карта RoCE

Сетевая карта RoCE это сетевая карта, поддерживающая протокол RoCE. Она использует технологию RDMA и интегрирует необходимые аппаратные функции. Она освобождает CPU от выполнения ресурсоёмких задач, тем самым значительно снижая задержку передачи данных и эффективно повышая производительность и пропускную способность всей системы. 

Высокопроизводительный коммутатор с высокой пропускной способностью

Из-за потребности в высокой пропускной способности RoCE часто требует поддержки высокопроизводительных коммутаторов с высокой пропускной способностью. Основой для создания высокопроизводительных сетевых коммутаторов с высокой пропускной способностью служит технология чипов пересылки данных коммутатора.

Интеллектуальная архитектура Ethernet без потерь

Помимо перечисленных выше аппаратных ресурсов, в сети RoCE также необходимо создать интеллектуальную архитектуру Ethernet без потерь, чтобы обеспечить отсутствие потерь пакетов во время передачи данных по сети.

Интеллектуальные сети без потерь используют технологии управления потоком и управления перегрузками для повышения общей пропускной способности сети и снижения задержки сети. С другой стороны, они используют такие технологии, как интеллектуальные сети хранения данных без потерь, для оптимизации интеграции сети и прикладной системы. Согласно соответствию между технологией интеллектуальной сети без потерь и стеком протоколов TCP/IP ниже приведена техническая архитектура интеллектуальной сети без потерь:

Сравнение сетей IB и RoCE v2

Техническое сравнение

С технической точки зрения InfiniBand использует множество технологий для повышения производительности пересылки данных в сети, сокращения времени восстановления после сбоев, улучшения масштабируемости и снижения сложности эксплуатации и обслуживания.

Сравнение бизнес-сценариев

Эффективность бизнеса: Поскольку задержка от конца до конца в InfiniBand ниже, чем в RoCE v2, сеть на базе InfiniBand имеет преимущество с точки зрения производительности приложений на уровне бизнес-логики. Однако производительность RoCE v2 также может удовлетворять требованиям большинства сценариев интеллектуальных вычислений.

Масштаб бизнеса: InfiniBand может поддерживать один кластер из 10 000 GPU-карт и обеспечивать отсутствие снижения общей производительности; в отрасли существует множество коммерческих примеров такого применения. Сеть RoCE v2 может поддерживать кластер из 1 000 GPU-карт без существенного снижения общей производительности сети.

Эксплуатация и техническое обслуживание бизнеса: InfiniBand является более зрелой технологией, чем RoCE v2, включая возможности изоляции в среде с несколькими арендаторами, возможности диагностики при эксплуатации и техническом обслуживании и т. д.

Стоимость бизнеса: Стоимость InfiniBand выше, чем RoCE v2, главным образом потому, что коммутаторы и модули InfiniBand дороже коммутаторов Ethernet.

Заключение

RoCE устраняет разрыв между высокопроизводительными вычислениями и сетями на основе Ethernet, интегрируя функции RDMA в инфраструктуру Ethernet. Эта технология обеспечивает низкую задержку, высокую пропускную способность и экономичность, что делает ее идеальным выбором для таких приложений, как центры обработки данных и облачные вычисления. По сравнению с InfiniBand она обладает более широкой совместимостью и более низкой стоимостью. Хотя RoCE несколько уступает по задержке и управлению мультитенантностью, это весьма конкурентоспособная альтернатива, которая подрывает позиции InfiniBand.