InfiniBand와 Ethernet의 차이점은 무엇입니까?

연결성의 세계에서 InfiniBand와 Ethernet은 각각 고유한 특성을 가지고 있어 어느 쪽이 더 낫다고 말하기 어렵습니다. 각각은 서로 다른 애플리케이션 시나리오에서 발전해 왔으며, 네트워킹에 없어서는 안 될 두 가지 기술이 되었습니다.

InfiniBand와 Ethernet: 무엇인가요?

InfiniBand 네트워크

InfiniBand 그리고 Ethernet은 설계 면에서 매우 다릅니다. InfiniBand는 높은 신뢰성, 낮은 지연 시간, 높은 대역폭으로 슈퍼컴퓨터 클러스터에서 두각을 나타내며, 대부분의 서버, 특히 GPU 서버에 적합한 상호 연결 기술입니다. 10 Gbit/s 데이터 속도에서 InfiniBand는 각 채널이 기본 속도 2.5 Gbit/s로 단일 데이터 속도(SDR) 신호를 전송할 수 있도록 합니다. 단일 채널은 5 Gbit/s 및 10 Gbit/s로 확장될 수 있으며, 그 결과 4X 케이블에서 최대 40 Gbit/s, 12X 케이블에서 120 Gbit/s의 데이터 속도가 가능하고, InfiniBand의 2x(DDR) 및 4x(QDR) 데이터 속도 신호가 지원될 수 있습니다.

Ethernet

1980년 9월 30일 출시된 이후 Ethernet은 LAN에서 가장 일반적으로 사용되는 통신 프로토콜이 되었습니다. InfiniBand와 달리 Ethernet은 여러 시스템 간의 정보 흐름을 촉진하는 것을 목표로 설계되었습니다. 주로 분산 아키텍처를 사용하며 호환성을 기반으로 합니다. 기존 Ethernet은 일반적으로 TCP/IP를 기반으로 네트워크를 구축하며, 오늘날에는 RoCE(RDMA over Converged Ethernet)로 진화하고 있습니다. 일반적으로 Ethernet은 LAN에서 컴퓨터와 기타 장치를 연결하는 데 사용할 수 있습니다. 예를 들어 컴퓨터와 프린터 간의 연결을 설정하거나, 프린터 스캐너 등을 LAN에 연결하는 데 사용할 수 있습니다. 유선 네트워크는 광섬유를 통해 연결할 수 있을 뿐만 아니라, 무선 기술을 통해 무선 연결도 가능합니다. Ethernet의 주요 유형에는 Fast Ethernet, Gigabit Ethernet, 10기가비트 이더넷, 및 스위치드 이더넷.

InfiniBand와 Ethernet의 차이점

고성능 컴퓨팅 시나리오에서 InfiniBand는 원래 클러스터 데이터 전송의 병목 현상을 해결하고 시대적 요구에 적응하기 위해 설계되었습니다. 따라서 InfiniBand와 Ethernet은 대역폭, 지연 시간, 네트워크 신뢰성, 기술 및 적용 시나리오 측면에서 뚜렷한 차이가 있습니다.

대역폭

InfiniBand는 시작 이래 Ethernet보다 앞서 있었습니다. 그 주된 이유는 InfiniBand가 주로 고성능 컴퓨팅에서 서버 간 상호 연결에 사용되는 반면, Ethernet은 상대적으로 낮은 대역폭 요구 사항을 가진 최종 장치 연결에 더 중점을 두기 때문입니다. 그 결과 Ethernet 표준은 일반적으로 상호 운용성을 달성하는 방법만 고려하는 반면, InfiniBand 표준은 더 포괄적이며, 상호 운용성뿐만 아니라 고속 데이터 전송 중 CPU의 부담을 줄이고, 대역폭이 효율적으로 사용되도록 보장하며, 가능한 한 적은 CPU 리소스를 사용하도록 하는 데도 중점을 둡니다.

네트워크 트래픽이 10G를 초과할 때 모든 패킷 캡슐화 및 캡슐화 해제를 CPU 처리에 의존한다면 리소스 낭비가 될 것입니다. 이는 값비싼 CPU 리소스를 사용하여 단순한 네트워크 전송 작업을 처리하는 것과 같으며, 리소스 할당 관점에서 비용 효율적이지 않습니다.

이 문제에 대응하기 위해 InfiniBand의 1세대 SDR 속도는 10Gbps였으므로 DMA 기술의 아이디어를 차용하여 CPU를 우회했습니다. 이는 데이터 전송 대역폭을 증가시켰을 뿐만 아니라 RDMA 기술을 제안함으로써 CPU의 부담을 완화하여 이 과제를 완벽하게 해결했습니다. RDMA를 사용하면 대역폭이 크게 증가하더라도 CPU가 네트워크 트랜잭션을 처리하는 데 더 많은 리소스를 소비할 필요가 없으므로, 전체 고성능 컴퓨팅 속도가 저하되지 않습니다. 이것이 InfiniBand가 SDR의 10Gbps에서 오늘날의 HDR 200Gbps, 400Gbps, 나아가 800Gbps XDR로 빠르게 발전한 이유입니다.

네트워크 지연 시간

InfiniBand와 Ethernet은 지연 시간 측면에서 상당히 다릅니다. Ethernet 스위치는 저장 후 전달 방식과 MAC 주소 테이블 조회를 사용하므로 처리 시간이 비교적 길어집니다. 반면 InfiniBand 스위치는 전달 경로를 조회하는 데 16비트 LID만 필요하며 Cut-Through 기술을 사용해 전달 지연 시간을 100ns 미만으로 줄이므로 훨씬 더 빠릅니다.

네트워크 신뢰성

고성능 컴퓨팅의 경우 패킷 손실과 재전송은 전체 성능에 심각한 영향을 미칠 수 있으므로, 매우 안정적인 네트워크 프로토콜이 필요합니다. InfiniBand는 Layer 1부터 Layer 4까지 구현되는 class-of-service (CoS) 메커니즘을 사용하므로 항상 하향식이며 정적 무손실 패킷 포워딩을 갖춘 계층 구조입니다. 그러나 Ethernet에는 네트워크 혼잡을 효율적으로 처리하기 위한 스케줄링 기반 트래픽 제어 메커니즘이 부족합니다. 그 결과 트래픽이 많을 때 Ethernet switches는 더 많은 캐시 리소스를 소비하고 에너지 소비로 인해 비용이 증가합니다.

네트워킹 접근 방식

네트워킹 관점에서 InfiniBand는 관리가 비교적 간단합니다. SDN 개념이 설계에 포함되어 있으며, 네트워크의 각 서브넷 관리자는 네트워크 노드의 ID를 구성하고 포워딩 경로를 일괄적으로 계산하는 역할을 담당합니다. 반면 Ethernet 네트워킹은 MAC 테이블 항목을 업데이트하기 위해 주기적으로 패킷을 전송하고 VLAN 메커니즘을 구현해야 하므로 상대적으로 더 복잡합니다.

이 두 네트워크의 토폴로지도 다릅니다. Ethernet은 스타-트리 및 기타 토폴로지를 포함한 다양한 토폴로지를 지원합니다. 설계는 수요에 따라 네트워크를 확장할 수 있도록 유연하게 조정할 수 있습니다. 반면 InfiniBand는 일반적으로 높은 대역폭과 낮은 지연 시간에 최적화된 전용 토폴로지(Fat Tree 또는 Dragonfly 등)를 사용하지만, 대규모 확장을 위해서는 더 많은 설계 고려 사항이 필요합니다.

적용 시나리오

InfiniBand는 높은 대역폭, 낮은 지연 시간, 병렬 컴퓨팅에 대한 우수한 지원으로 인해 고성능 컴퓨팅 환경에서 널리 사용됩니다. 반면 Ethernet은 기업 네트워크, 홈 네트워크 등에서 일반적으로 사용되며 낮은 비용과 광범위한 표준화 이점으로 인해 여전히 중요한 시장을 차지하고 있습니다. 컴퓨팅 성능에 대한 수요가 계속 증가함에 따라 전 세계 상위 500대 슈퍼컴퓨팅 센터에서 InfiniBand의 사용은 특히 중요합니다.

동시에 두 네트워크 호환성 측면이 다르다는 점을 고려할 필요가 있습니다. Ethernet의 경우 거의 모든 네트워크 장치가 Ethernet 연결을 지원합니다. 네트워크 애플리케이션에 다양한 장비 공급업체의 제품을 사용하기 쉽습니다. 반면 InfiniBand는 성능 측면에서 장점이 있지만 일반적으로 전문 장비를 사용하므로 호환성과 유연성 측면에서 많은 제한이 있습니다.

QSFPTEK InfiniBand 및 Ethernet 광 트랜시버 소개

QSFPTEK는 400G NDR InfiniBand Optical Module 및 800G NDR InfiniBand Optical Module을 제공할 수 있습니다, The 800G OSFP PAM4 Optical Transceiver는 데이터 센터와 800G 및 2x 400G 애플리케이션에서 널리 사용됩니다. Ethernet 모듈 측면에서는 1G부터 800G까지의 Ethernet optical transceiver를 제공할 수 있습니다. 일반 모듈 외에도 WDM transceivers와 coherent transceivers도 다양한 속도로 제공됩니다. 각 QSFPTEK optical device는 완벽한 제품 작동을 보장하기 위해 브랜드 switch 장비에서 100% 테스트됩니다.

결론

InfiniBand와 Ethernet은 각각 서로 다른 시나리오에 적합합니다. InfiniBand는 CPU 부담을 줄이면서 속도를 크게 높여 네트워크 활용률을 향상시킬 수 있으므로 HPC의 주요 솔루션 중 하나입니다. 앞으로는 더 높은 속도의 InfiniBand 제품이 등장할 가능성이 높습니다. 데이터 센터 간 지연 시간 요구 사항이 높지 않고 유연성과 확장성이 더 중요하다면, Ethernet은 분명 고려할 만한 옵션입니다.