메타는 8월 24일 MetaRoCE의 설계 세부 내용을 공개했다. 표준 RoCE를 대체하기 위해 자체적으로 만든 RDMA 전송 프로토콜이다. 10월 열리는 OCP 글로벌 서밋에서는 전체 프로토콜 규격, libsoftmetaroce라는 참조 구현체, 그리고 프로덕션 적합성 테스트 스위트가 함께 공개될 예정이다.
표준 RoCE, 10만 장 규모에서 한계
RoCE는 네트워크가 모든 프레임을 순서대로 전달한다는 전제를 깔고, 스위치의 PFC(우선순위 흐름 제어)로 무손실을 보장하는 방식이다. 이 전제는 수백 장 규모 클러스터에서는 잘 작동하지만, 메타의 현재 규모에서는 균열이 생기기 시작한다.
메타의 설명에 따르면 표준 RoCE는 네트워크가 모든 프레임을 순서대로 전달할 것을 기대하고 PFC에 의존하며, 패킷 스프레이(여러 경로로 분산 전송)를 권장하지 않는다. 그런데 이 패킷 스프레이야말로 멀티플레인 대규모 네트워크에서 성능을 끌어올리는 수단이다. 여기서 충돌이 생긴다. 하나의 흐름에 속한 패킷을 여러 경로로 동시에 뿌리는 것은 '순서대로 전달'이라는 원칙과 정면으로 부딪힌다. PFC는 홉 단위의 배압(backpressure) 방식이라, 한 지점의 혼잡이 그대로 뒤로 밀려나면서 초대형 규모에서는 연쇄적으로 번지기 쉽다. 게다가 all-reduce 같은 집합 통신은 수천 개의 가속기를 동기화해야 하는데, 가장 느린 전송 하나가 전체 작업의 속도를 결정해 버린다.
메타가 언급한 목표 시나리오는 '여러 데이터센터와 지역에 분산된 수십만 장의 GPU'다. 이 정도 규모에서는 스위치만으로 무손실 네트워크를 유지하는 것이 이미 확률에 거는 도박에 가깝다.
지능을 NIC로 옮기다
MetaRoCE의 설계 원칙은 한 문장으로 압축된다.
“The fabric sees packets, but the NIC sees intent.”
(네트워크 패브릭은 패킷만 보지만, NIC는 의도를 안다.)
이는 여섯 가지로 구체화된다. 네이티브 비순서 전달—패킷을 의도적으로 여러 경로에 분산시키고 목적지 메모리 주소에 직접 기록해 재정렬 버퍼가 필요 없게 한다. 네이티브 멀티패스—각 연결이 여러 논리 경로를 유지하며, 각 경로가 자신의 왕복 지연시간과 ECN 상태를 개별적으로 추적한다. 손실 허용—패킷 손실을 일상적인 것으로 취급하고 PFC 없이 선택적 확인응답 비트맵으로 빈틈을 메운다. 이중 혼잡 제어—송신 측 AIMD와 수신 측 공정 배분 속도 힌트를 결합한다. 토폴로지 무관성—ECN 마킹과 ECMP만 요구하기 때문에 팻트리, 멀티플레인, 얕은 버퍼 스위치 어디서든 동작한다. 그리고 연결 통합—단일 큐가 여러 순서 있는 메시지 스트림과 여러 경로를 함께 처리하며 하나의 혼잡 제어기를 공유한다.
64노드에서 나온 수치
실측은 64노드 규모의 AMD GPU 클러스터에서 이뤄졌다. 처리량은 RoCEv2를 지속적으로 앞섰다. 손실률 1%에서도 처리량의 약 86%를 유지했고, 손실률 10%에서도 계속 작동했다. 4플레인과 8플레인 토폴로지에서 처리량이 선형으로 확장됐으며, 최대 4000개의 동시 연결까지 테스트됐다. 단일 플레인에 장애가 발생해도 트래픽이 스스로 재분배돼 애플리케이션 계층의 개입이 필요 없었다.
64노드에서 '수십만 장'까지는 아직 갈 길이 멀다. 메타는 남은 과제를 세 갈래로 나눈다. 랙 내부의 스케일업은 짧은 메모리 연산에 대한 빠른 시그널링을 최적화해 재정렬 버퍼와 PFC가 만드는 지연을 없애야 한다. 수천 킬로미터 규모의 스케일어크로스는 밀리초 단위 왕복 지연을 가진 장거리 링크에서 경로별 적응과 공정성을 구현해야 한다. 스토리지와 KV 캐시 시나리오에서는 한 번의 읽기가 여러 서버로 동시에 팬아웃되는 인캐스트 문제를 수신 측 속도 힌트로 해결할 계획이다.
오픈소스화, 노린 건 NIC 업체들
NIC 쪽에서 검증된 구현체는 현재 AMD Pensando 하나뿐이고, 나머지 업체들은 준비 중인 것으로 알려졌다. 이 한 가지가 MetaRoCE가 얼마나 멀리 갈 수 있는지를 결정한다. 프로토콜이 아무리 정교해도 주요 NIC 펌웨어에 들어가지 못하면 메타 내부용 방안에 그치고 만다.
OCP를 통해 공개하고 ESUN(Ethernet for Scale-Up Networking) 구상에 명확히 맞춘 의도는 분명하다. NIC 업체들이 이 규격에 맞춰 제품을 내놓게 만들어 메타 자신의 구매 선택지를 넓히려는 것이다. 이더넷 진영은 이 수법을 한 번 써본 적이 있다. RoCE가 InfiniBand의 점유율을 가져올 수 있었던 것도 이더넷 생태계가 저렴하고 공급업체가 많았기 때문이다. 이제 RoCE 자체가 병목이 된 상황에서, 메타는 같은 전략을 한 번 더 쓰려 한다. 먼저 규격을 공개된 자리에 올려놓고, 모두가 따라오게 만드는 방식이다.
중국 내에서 AI 컴퓨팅 인프라를 구축하는 팀들에게는 10월에 나올 규격을 챙겨볼 가치가 있다. 특히 'PFC가 필요 없다'는 부분이 그렇다. PFC 튜닝을 통째로 없앨 수 있다면 운영에서 가장 골치 아픈 문제 하나를 줄이는 셈이다.
참고 출처: 메타 엔지니어링 블로그, CocoLoop, OCP ESUN 관련 자료. 손실률 1%에서 약 86% 처리량 유지, 10% 손실에서도 작동 지속, 64노드 AMD GPU 클러스터, 4000개 동시 연결 등의 수치는 메타가 공개한 실측 결과를 기준으로 확인됨.