Как сети InfiniBand расширяют возможности центров обработки данных HPC

Сети InfiniBand повышают мощность дата-центров высокопроизводительных вычислений. Приложения с высокой пропускной способностью, требующие аналитики данных и машинного обучения, быстро развиваются, а спрос на высокоскоростные сети с низкой задержкой растет по мере того, как все больше отраслей начинают использовать такие сети. InfiniBand — это новая технология, разработанная для высокоскоростного подключения, которая в последние годы широко используется в крупных центрах высокопроизводительных вычислений по всему миру. В следующей части мы подробно рассмотрим, что представляет собой сеть InfiniBand и какие продукты входят в ее семейство.

Введение в сети InfiniBand

Возможно, вы слышали об InfiniBand, но что это такое? Это технология высокоскоростного сетевого межсоединения с открытым стандартом, высокой пропускной способностью, низкой задержкой и высокой надёжностью, широко используемая в кластерах суперкомпьютеров. Её основная роль заключается в соединении коммутаторов данных с одновременным обеспечением эффективных каналов передачи данных внутри центра обработки данных и между системами хранения.

Полная система InfiniBand обычно состоит из канальных адаптеров (CA), коммутаторов, маршрутизаторов, кабелей и разъемов. Канальные адаптеры подразделяются на адаптеры канала хоста (HCA) и адаптеры канала целевого устройства (TCA).

Коммутаторы InfiniBand похожи на обычные сетевые коммутаторы, но должны соответствовать требованиям InfiniBand к высокой производительности и низкой стоимости. Маршрутизаторы InfiniBand отличаются от них. Они разделяют крупные сети на более мелкие и соединяют их с помощью маршрутизаторов, чтобы сделать передачу данных более эффективной.

HCA используются для подключения серверов или устройств хранения данных к сети InfiniBand. TCA представляют собой специализированные адаптеры каналов, обычно используемые во встроенных средах, например в устройствах хранения данных, для обеспечения стабильного и эффективного обмена данными.

Что такое коммутатор InfiniBand?

Коммутаторы InfiniBand (IB-коммутаторы) можно рассматривать как устройства, добавляющие возможности InfiniBand к сетевому коммутаторному оборудованию, подобно PoE-коммутаторам, SDN-коммутаторам и коммутаторам NVGRE/VXLAN. К основным поставщикам IB-коммутаторов на современном рынке относятся NVIDIA (Mellanox), Intel и Oracle. Цена зависит от поставщика и конкретной конфигурации коммутатора.

Коммутаторы IB доступны с различным количеством портов, типами разъемов и версиями InfiniBand. Например, коммутаторы InfiniBand NVIDIA оснащены портами QSFP56/OSFP HDR/NDR в количестве от 8 до 64. Версии коммутаторов HDR и NDR поддерживают скорости передачи данных 200Gb/s и 400Gb/s соответственно и используют передовые технологии, такие как Remote Direct Memory Access (RDMA), Adaptive Routing и NVIDIA Scalable Split-Routing, а также NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP™).

Трансиверы InfiniBand: ключевой компонент высокопроизводительных вычислений

трансиверы InfiniBand играют ключевую роль в высокопроизводительных вычислениях. QSFPTEK предлагает трансиверы InfiniBand 200G HDR, 400G NDR и 800G NDR, каждый из которых обладает различными характеристиками для удовлетворения потребностей различных сценариев применения.

Исследование сетей InfiniBand в HPC-центрах обработки данных

В области высокопроизводительных вычислений (HPC) центры обработки данных предъявляют высокие требования к сети, и InfiniBand, как архитектура, специально разработанная для высокоскоростной передачи данных, способна удовлетворить эти требования. Проще говоря, InfiniBand позволяет различным типам устройств взаимодействовать друг с другом через высокоскоростное соединение, что делает эту технологию предпочтительным выбором для многих центров обработки данных HPC благодаря отличным характеристикам пропускной способности и низкой задержки.

Если вы не знакомы с InfiniBand, представьте его как «шоссе» центра обработки данных, по которому различные вычислительные узлы, устройства хранения и аналитические системы эффективно обмениваются данными. В зависимости от скорости портов коммутаторы InfiniBand выпускаются в версиях QDR, FDR, NDR и XDR, каждая из которых обеспечивает свой уровень производительности для бесперебойной работы задач вычислительного центра.

В крупномасштабных вычислительных средах InfiniBand также может соединять хосты с различными периферийными устройствами, такими как системы хранения данных, графические процессоры (GPUs) и другие устройства. Он поддерживает пакеты размером 4K и обеспечивает последовательные двунаправленные соединения «точка-точка», объединенные в соединения 4X или 12X, с пропускной способностью до 300Gbps. Такая пропускная способность является огромным преимуществом для систем HPC, которым необходимо обрабатывать огромные объемы данных.

В последние годы, с ростом спроса на высокопроизводительные вычисления, крупные технологические компании выпускают продукты на основе технологии InfiniBand, чтобы способствовать дальнейшему развитию отрасли HPC. QSFPTEK предлагает трансиверы HDR InfiniBand 200G QSFP56 SR4 и FR4, 400G OSFP SR4 а также трансиверы DR4 NDR InfiniBand и трансиверы 800G OSFP 2xFR4 NDR InfiniBand как один из вариантов для центров обработки данных HPC.

Почему InfiniBand важен для центров обработки данных HPC?

Современные интернет-архитектуры являются крупными и сложными, и многие организации используют высокопроизводительные вычисления для обработки огромных объёмов данных. Центры обработки данных HPC предназначены для удовлетворения этих вычислительных потребностей. Пропускная способность сети и задержка являются двумя наиболее важными показателями для HPC. InfiniBand пользуется популярностью в сфере HPC, поскольку обеспечивает чрезвычайно высокую пропускную способность и сверхнизкую задержку, делая обмен данными между вычислительными узлами, системами хранения и аналитическими платформами более эффективным.

Проще говоря, центры обработки данных HPC выбирают InfiniBand благодаря его способности обрабатывать данные на очень высокой скорости при сохранении низкой задержки, предотвращая замедление вычислительных задач из-за узких мест в сети. Такая особенность становится особенно важной по мере дальнейшего роста масштабов вычислений.

В будущем, по мере дальнейшего роста спроса на высокопроизводительные вычисления в таких областях, как искусственный интеллект, анализ больших данных и облачные вычисления, InfiniBand будет по-прежнему оставаться важной частью центров обработки данных.

Уникальные преимущества сетей InfiniBand в центрах обработки данных для высокопроизводительных вычислений

В наши дни, когда появились новые технологии передачи данных, работы в интернете и визуального представления информации, крайне важно повысить вычислительную мощность, расширить хранилище и обеспечить более эффективную работу сети. В этих аспектах сеть InfiniBand оптимизирует архитектуру сети центров обработки данных для высокопроизводительных вычислений (HPC) благодаря своим характеристикам высокой пропускной способности и низкой задержки, повышая эффективность использования вычислительных ресурсов.

Повышенная эффективность сети

Сети InfiniBand (IB) позволяют перенести задачи обработки протоколов и передачи данных с CPU на сетевое оборудование, высвобождая ресурсы CPU для высоконагруженных вычислительных задач, таких как моделирование со сверхвысоким разрешением, крупномасштабный анализ данных и параллельные вычисления. InfiniBand обеспечивает более высокую скорость передачи, чем традиционный Ethernet 10Gbps, достигая в последней версии 168Gbps (12xFDR), что значительно опережает соединения Ethernet 10Gbps и 100Gbps. Для отраслей, зависящих от высокоскоростных вычислений, таких как Web 2.0, облачные вычисления, обработка больших данных, финансовое моделирование, виртуализированные центры обработки данных и приложения хранения данных, InfiniBand обеспечивает повышение производительности, которое не только сокращает время выполнения задач, но и снижает затраты на эксплуатацию и техническое обслуживание.

Поддержка более высокой пропускной способности

В то время как Ethernet доминировал в эпоху 100G, InfiniBand продолжает развиваться благодаря появлению коммутаторов со скоростью 100G/200G, отвечающих требованиям высокой пропускной способности вычислительных архитектур HPC. Благодаря высокой скорости и низкой задержке коммутаторы InfiniBand идеально подходят для центров обработки данных HPC, позволяя серверам работать эффективно и значительно повышая общую производительность приложений.

Высокая масштабируемость

Сети InfiniBand могут поддерживать до 48 000 узлов в одной подсети, а поскольку они не используют традиционные механизмы широковещательной передачи, такие как ARP, широковещательных штормов и других ошибок, способных расходовать дополнительную пропускную способность сети, не возникает. Кроме того, разные подсети IB можно эффективно объединять с помощью коммутаторов для более гибкого расширения сети.

Заключение

Благодаря превосходной технической архитектуре сеть InfiniBand продемонстрировала высокую прикладную ценность в центрах обработки данных HPC. Она упрощает сетевую архитектуру, снижает задержки многоуровневых сетевых слоев и обеспечивает более плавный путь модернизации пропускной способности для основных вычислительных узлов. С развитием технологий области применения сети InfiniBand будут продолжать расширяться, и она постепенно станет важной основой сферы HPC.