Microsoft가 Windows용 RDMA over USB4 개발자 프리뷰를 내놓았다. 여러 대의 Windows PC를 일반 USB4 케이블로 연결하면 각자의 메모리와 GPU를 합쳐 하나의 로컬 대형 모델을 돌릴 수 있다. 전용 RDMA 네트워크 카드도, 스위치도, 서드파티 드라이버도 필요 없다.
이 기능이 겨냥하는 것은 한 대의 메모리에 들어가지 않는 모델이다. 지금까지는 모델을 더 작게 압축하거나 요청을 클라우드에 넘기는 수밖에 없었다. 이제 한 대를 더 연결한다는 선택지가 생겼다.

미니 PC 3대로 235B 모델 구동
Microsoft는 AMD와 인텔 각각의 시연 두 가지를 공개했다.
| 구성 | 모델 | 생성 속도 |
|---|---|---|
| Ryzen AI Max+ 395 3대, 각 128GB | Qwen3-235B-A22B (4비트 양자화) | 초당 18.5~21.98토큰 |
| Core Ultra 시리즈 3 3대, 각 64GB | GPT-OSS-120B | 초당 49.4토큰 |
| Core Ultra 시리즈 3 4대, 각 64GB | GPT-OSS-120B | 초당 54.2토큰 |
AMD 쪽은 Radeon 8060S 내장 그래픽을 갖추고 대당 128GB 통합 메모리를 탑재한 미니 PC를 사용했다. 18.5는 Microsoft가 직접 측정한 수치이고, 21.98은 AMD가 자사 구성으로 얻은 수치다. 인텔 쪽은 3대에서 4대로 늘리자 속도가 49.4에서 54.2로 올랐는데, 한 대를 더 연결해 얻은 향상 폭은 10%가 채 되지 않는다.
왜 여러 대를 묶어야 하는지는 대략 계산해 보면 알 수 있다. 2350억 개 파라미터를 4비트로 저장하면 가중치만 118GB에 육박한다. 128GB짜리 한 대에 넣으면 컨텍스트와 시스템에 쓸 여유가 거의 남지 않지만, 3대로 나누면 긴 컨텍스트를 돌릴 공간이 생긴다. 이는 파라미터 수를 기준으로 한 추정이며, 실제 사용량은 양자화 형식과 컨텍스트 길이에 따라 달라진다. Microsoft는 노드별 메모리 사용량을 공개하지 않았다.
빠른 이유는 네트워크 스택을 건너뛰기 때문
RDMA는 원격 직접 메모리 접근의 약자로, 두 기기 사이에서 데이터를 옮길 때 일반적인 네트워크 소프트웨어 대부분을 거치지 않는다. Microsoft가 제시한 수치로는 작은 메시지의 왕복 지연 시간이 약 28~50마이크로초이며, 같은 USB4 링크에서 UDP를 쓸 때보다 4배가량 빠르다. 링크 속도는 40Gbps와 80Gbps 두 단계를 지원하고, 호환되는 썬더볼트 4와 썬더볼트 5 포트에서도 쓸 수 있다.
분산 추론은 지연 시간에 민감하다. 모델을 여러 기기에 나누면 토큰을 하나 생성할 때마다 중간 결과가 기기 사이를 한 바퀴 오가야 하므로, 전송이 조금만 느려져도 전체 속도가 떨어진다.
배선에는 조건이 있다. Microsoft는 각 PC가 나머지 모든 PC와 직접 연결되어야 한다고 요구한다. 3대라면 PC마다 USB4 포트를 2개씩 쓰고 케이블은 모두 3개다. 이 규칙대로라면 4대는 PC마다 포트 3개, 케이블 6개가 필요하다. Microsoft는 기기를 일렬로 이어 붙이면 성능이 눈에 띄게 떨어진다고 특별히 경고했다. 일반 소비자용 PC는 USB4 포트 수가 한정되어 있어, 이 방식의 규모 상한은 네댓 대 정도일 것으로 본다.
전용 NIC 방식과 비교하면
RDMA는 서버와 AI 클러스터에서 오래 쓰여 왔고 Windows와 Linux 모두 일찍부터 지원했지만, 늘 전용 하드웨어가 필요했다. ServeTheHome은 앞서 엔비디아 GB10 8노드 클러스터를 시연했는데, 합계 메모리가 1TB였고 ConnectX-7 네트워크 카드와 200Gbps 이더넷, RoCE 프로토콜을 사용했다. 이 방식은 링크 속도가 USB4의 몇 배에 이르지만, 모든 기기에 전용 NIC가 있어야 하고 스위치도 한 대 더 필요하다.
애플은 Microsoft와 비슷한 길을 걷고 있다. 작년 말 macOS에서 썬더볼트 5용 RDMA를 열었고, 이후 여러 대의 Mac을 쌓아 대형 모델을 돌리는 사례가 늘었다. Windows 진영에 대해서는 VideoCardz가 한 가지 점을 짚었다. RTX Spark 시리즈 PC에는 DGX Spark와 같은 ConnectX-7 포트가 없는데, Microsoft의 이번 기능이 정조준하는 것이 바로 이런 기기이며 AMD의 Strix Halo, Gorgon Halo 미니 PC도 포함된다.
이렇게 비교하면 USB4 방식의 위치는 분명하다. 대역폭과 확장성은 데이터센터 방식에 미치지 못하지만, 하드웨어를 하나도 추가할 필요가 없어 새 PC가 두세 대 있는 소규모 팀이나 개인도 시도해 볼 수 있다는 점이 강점이다.
언제부터 쓸 수 있나
현재 공개된 Windows 버전에는 이 기능이 아직 없다. Microsoft는 Windows Insider의 Experimental 채널로 배포할 계획이지만 구체적인 날짜는 밝히지 않았다. 기반이 되는 NetworkDirect 프로바이더와 수정된 llama.cpp 추론 프레임워크는 이미 오픈소스로 공개되어 있어, 먼저 써 보려는 개발자는 코드를 살펴볼 수 있다.
Microsoft가 언급하지 않은 부분도 있다. 어떤 USB4 컨트롤러 칩이 지원 목록에 들어 있는지, 제조사가 다른 기기를 섞어 연결할 수 있는지, Ollama와 LM Studio 같은 대표 도구가 언제 지원하는지 등이다. 시연에는 모두 신세대 칩이 쓰였고, 구형 USB4 PC에서 동작하는지는 프리뷰 버전이 나온 뒤에야 실측으로 확인할 수 있다.
참고 출처: Microsoft USB 기술 블로그, VideoCardz, CocoLoop. 세 가지 시연의 기기 구성, 사용 모델, 초당 토큰 수와 왕복 지연 시간, 배선 요건을 대조 확인했다.