Converged Ethernet을 통한 RDMA란 무엇입니까?

RoCE는 고대역폭 및 고성능 애플리케이션의 요구를 충족하는 기술입니다. 기존 TCP/IP 프로토콜은 지연 시간이 길고 대역폭 활용 효율이 낮아 증가하는 네트워크 요구를 충족할 수 없었기 때문에 RoCE가 개발되었습니다. RoCE는 RDMA 기술을 통해 원격 메모리 액세스를 이더넷에 통합하여 데이터 전송 효율을 크게 향상시키고 지연 시간을 줄입니다. 이 글에서는 RoCE가 무엇인지 자세히 알아보고, 이를 깊이 이해할 수 있도록 안내합니다.

RoCE 네트워크란 무엇인가

RoCE(RDMA over Converged Ethernet)는 무손실 Ethernet을 통해 저지연 및 고처리량 데이터 전송을 달성하도록 설계된 Ethernet 기반 원격 직접 메모리 액세스(RDMA) 기술입니다. RoCE 기술은 고성능 컴퓨팅 및 네트워크의 RDMA 기술을 표준 Ethernet 인프라에 도입하여 기존 Ethernet에 RDMA 기능과 고성능 컴퓨팅 특성을 부여합니다. 따라서 RoCE 기술은 Ethernet과 RDMA의 강력한 장점을 모두 갖추고 있습니다.

RoCE 기술은 기존 이더넷 네트워크에서 InfiniBand와 유사한 고성능을 달성할 수 있게 합니다. 이더넷 프로토콜을 최적화하여 지연 시간을 줄이고 대역폭을 증가시킵니다. 기존 이더넷과 비교하면: RoCE는 기존 이더넷 장치와의 높은 호환성을 유지하면서 더 낮은 지연 시간과 더 높은 처리량을 제공합니다.

RoCE의 장점: RoCE의 주요 장점은 비용 효율성과 호환성입니다. Ethernet 표준을 기반으로 하므로 시중의 성숙한 네트워크 장비와 케이블을 사용할 수 있고, 단일 브랜드 및 지역 제한을 받지 않으며, 공급 주기와 애프터서비스가 우수합니다. 핵심은 Ethernet 및 그 장비와의 호환성도 뛰어나 유연성을 크게 향상시키고 비용을 절감한다는 점입니다. 따라서 RoCE 기술은 데이터 센터, HPC 고성능 스토리지, 인공 지능 및 기타 분야에서 점점 더 널리 사용되고 있으며, GPU 서버 상호 연결에서 비용 효율적인 상호 연결 기술이 되고 있습니다. QSFPTEK는 제공합니다 L3/L3+ 스위치 RoCE2를 지원합니다.

RoCE의 발전 및 유형

RoCE v1

2010년 4월, IBTA는 RoCE를 발표했습니다. 이 표준은 Infiniband Architecture Specification의 애드온으로 발표되었기 때문에 IBoE(InfiniBand over Ethernet)라고도 불립니다. 이때 RoCE 표준은 Ethernet 링크 계층에서 TCP/IP 네트워크 계층을 IB 네트워크 계층으로 대체했으므로 IP 라우팅을 지원하지 않아 RoCE v1이라고 불립니다.

RoCE v1 (Layer 2)은 Ethernet Link Layer (Layer 2)에서 작동하므로 Ethernet 계층에서 RoCE v1 프로토콜의 typeID는 0x8915이며, 따라서 일반 Frame 크기는 1500 bytes이고 Jumbo Frame은 9000 bytes입니다.

RoCE v1은 Ethernet 링크 계층을 기반으로 구현된 RDMA 프로토콜로, 물리 계층에서 안정적인 전송을 보장하기 위해 스위치가 PFC와 같은 흐름 제어 기술을 지원해야 하며, 동일한 VLAN에 있는 두 호스트가 통신할 수 있도록 합니다.

RoCE v2

RoCE v1의 데이터 프레임은 IP 헤더를 포함하지 않으므로 L2 서브넷 내에서만 통신할 수 있습니다. 이 문제를 해결하기 위해 IBTA는 2014년에 RoCE V2를 제안했습니다. RoCE v2는 RoCE v1의 확장으로, GRH(Global Routing Header)를 UDP 헤더 + IP 헤더로 대체합니다. RoCE v2는 단일 VLAN에 묶이는 RoCE v1의 제한을 극복합니다. IP 및 UDP 헤더를 포함한 패킷 캡슐화를 변경함으로써 RoCE v2는 L2 및 L3 네트워크 전반에서 사용할 수 있습니다. 확장된 프레임 구조는 아래 그림에 나와 있습니다.

RoCE v2(레이어 3)는 UDP/IPv4 또는 UDP/IPv6(레이어 3)에서 작동하며 전송에 UDP 포트 4791을 사용합니다. RoCE v2 패킷은 레이어 3에서 라우팅 가능하므로, RoCE v2는 Routable RoCE 또는 줄여서 RRoCE라고도 불릴 수 있습니다.

RoCE v2는 이전 세대 RoCE v1의 발전 및 개선 버전입니다. 일련의 개선 사항을 도입함으로써 기존의 한계를 효과적으로 해결하고 성능을 전반적으로 향상시킵니다. 2세대 버전인 RoCE v2는 상당한 성능 향상과 더 큰 유연성으로 두각을 나타내며, 시장의 주류 애플리케이션이 되었습니다.

RoCE 구현

RoCE 상호 연결을 달성하려면 네트워크 카드 장치에 RoCE를 지원하는 드라이버를 설치해야 합니다. 모든 이더넷 NIC(Network Interface Cards)는 RoCE 네트워크 어댑터 카드(즉, RoCE 네트워크 카드)를 지원해야 합니다. RoCE 드라이버는 Red Hat, Linux, Windows 및 기타 일반적인 운영 체제에서 사용할 수 있습니다. 따라서 RoCE 네트워크를 구현하려면 세 가지 방법이 필요합니다:

a. 서버 또는 호스트 장치의 경우 연결하려면 RoCE 네트워크 카드를 사용해야 합니다.

b. 네트워크 스위치의 경우, PFC 운영 체제를 지원하는 스위치를 사용하도록 선택하십시오. PFC, 즉 priority flow control은 무손실 Ethernet을 구축하는 데 필요한 수단 중 하나입니다. 이는 홉별로 우선순위 기반 플로우 제어를 제공할 수 있습니다. 이 개별 플로우 제어 방식은 일부 트래픽이 혼잡할 때 네트워크가 원활하게 유지되도록 하면서 다른 트래픽과의 간섭을 방지하여, 큰 대역폭과 낮은 지연 시간을 보장합니다.

c. 지능형 무손실 이더넷 아키텍처를 구축하세요.

RoCE NIC

RoCE NIC RoCE 프로토콜을 지원하는 네트워크 카드입니다. RDMA 기술을 사용하고 필요한 하드웨어 기능을 통합합니다. CPU를 과중한 작업에서 해방시켜 데이터 전송 지연 시간을 크게 줄이고 전체 시스템의 운영 성능과 대역폭을 효과적으로 향상시킬 수 있습니다. 

고성능 및 고대역폭 스위치

대역폭에 대한 높은 수요로 인해 RoCE는 종종 고성능 및 고대역폭 스위치의 지원을 필요로 합니다. 고성능 및 고대역폭 네트워크 스위치를 구축하기 위한 핵심 기반은 스위치의 포워딩 칩 기술에 있습니다.

지능형 무손실 이더넷 아키텍처

위의 하드웨어 리소스 외에도 RoCE 네트워크에서는 네트워크 전송 중 패킷 손실이 발생하지 않도록 지능형 무손실 이더넷 아키텍처를 구축해야 합니다.

지능형 무손실 네트워크는 흐름 제어 기술과 혼잡 제어 기술을 사용하여 전체 네트워크 처리량을 개선하고 네트워크 지연 시간을 줄입니다. 한편, 지능형 무손실 스토리지 네트워크와 같은 기술을 사용하여 네트워크와 애플리케이션 시스템의 통합 최적화를 달성합니다. 지능형 무손실 네트워크 기술과 TCP/IP 프로토콜 스택 간의 대응 관계에 따르면, 다음은 지능형 무손실 네트워크의 기술 아키텍처 다이어그램입니다:

IB 및 RoCE v2 네트워크 간 비교

기술 비교

기술적 관점에서 InfiniBand는 네트워크 포워딩 성능을 향상하고, 장애 복구 시간을 줄이며, 확장성을 개선하고, 운영 및 유지보수 복잡성을 줄이기 위해 많은 기술을 사용합니다.

비즈니스 시나리오 비교

비즈니스 성과: InfiniBand의 종단 간 지연 시간이 RoCE v2보다 낮기 때문에 InfiniBand 기반으로 구축된 네트워크는 애플리케이션 계층 비즈니스 성능에서 이점이 있습니다. 그러나 RoCE v2의 성능도 대부분의 지능형 컴퓨팅 시나리오의 비즈니스 성능 요구 사항을 충족할 수 있습니다.

비즈니스 규모: InfiniBand는 단일 클러스터에서 10,000개의 GPU 카드를 지원하면서 전체 성능 저하를 방지할 수 있으며, 업계에는 많은 상용 사례가 있습니다. RoCE v2 네트워크는 전체 네트워크 성능이 크게 저하되지 않는 상태에서 단일 클러스터당 1,000개의 GPU 카드 규모를 지원할 수 있습니다.

비즈니스 운영 및 유지보수: InfiniBand는 다중 테넌트 격리 기능, 운영 및 유지보수 진단 기능 등을 포함하여 RoCE v2보다 더 성숙했습니다.

비즈니스 비용: InfiniBand의 비용은 RoCE v2보다 높으며, 이는 주로 InfiniBand 스위치와 모듈의 비용이 이더넷 스위치보다 높기 때문입니다.

결론

RoCE는 RDMA 기능을 이더넷 인프라에 통합하여 고성능 컴퓨팅과 이더넷 기반 네트워크 간의 격차를 해소합니다. 낮은 지연 시간, 높은 대역폭 및 비용 효율성을 제공하여 데이터 센터 및 클라우드 컴퓨팅과 같은 애플리케이션에 이상적인 선택이 됩니다. InfiniBand와 비교하면 호환성이 더 넓고 비용이 더 낮습니다. RoCE는 지연 시간 및 멀티테넌트 관리 측면에서 약간 열세이지만, InfiniBand의 입지를 흔드는 매우 경쟁력 있는 대안입니다.