微软让多台PC用USB4合跑一个大模型

微软发布了 Windows 版 RDMA over USB4 的开发者预览。几台 Windows 电脑用普通 USB4 线连起来,就能把各自的内存和 GPU 凑在一起,跑同一个本地大模型,不需要专用的 RDMA 网卡、交换机或第三方驱动。

它针对的是单机内存装不下的模型。以往遇到这种情况,要么把模型压得更小,要么把请求交给云端;现在多了一条路,再接一台机器。

示意图:三台迷你主机用三根线两两直连,托起代表同一个本地AI模型的红色立方体

三台小主机跑 235B

微软公布了两组演示,AMD 和英特尔各一组。

配置模型生成速度
3 台 Ryzen AI Max+ 395,每台 128GBQwen3-235B-A22B(4-bit 量化)18.5 至 21.98 token/秒
3 台 Core Ultra Series 3,每台 64GBGPT-OSS-120B49.4 token/秒
4 台 Core Ultra Series 3,每台 64GBGPT-OSS-120B54.2 token/秒

AMD 这组用的是带 Radeon 8060S 核显的迷你主机,每台 128GB 统一内存。18.5 是微软自己测的数,21.98 是 AMD 用自家配置跑出来的。英特尔那组从三台加到四台,速度从 49.4 涨到 54.2,多一台机器换来不到一成的提升。

粗算一下就能看出为什么要拼机器:235B 参数按 4-bit 存,光权重就接近 118GB,一台 128GB 的机器塞进去以后,留给上下文和系统的余量所剩无几,分到三台上才有空间跑长上下文。这是按参数量做的估算,实际占用还取决于量化格式和上下文长度,微软没有公布各节点的内存占用。

快在绕开网络栈

RDMA 全称远程直接内存访问,数据在两台机器之间搬运时绕过大部分常规网络软件。微软给的数字是,小消息的往返延迟约 28 到 50 微秒,同一条 USB4 链路上走 UDP 要慢四倍左右。链路速率支持 40Gbps 和 80Gbps 两档,兼容的雷电 4、雷电 5 接口也能用。

分布式推理对延迟很敏感。一个模型切到几台机器上,每生成一个 token,中间结果都要在机器之间传一轮,传输慢一点,速度就整体往下掉。

接线方式有讲究。微软要求每台电脑与其他每一台直连:三台机器,每台要占两个 USB4 口,一共三根线;照这个规则推,四台就是每台三个口、六根线。微软特别提醒,把机器串成一条链会让性能明显下降。消费级电脑的 USB4 口数量有限,我们估计这套方案的规模上限也就在四五台。

和专用网卡方案比

RDMA 在服务器和 AI 集群里用了很多年,Windows 和 Linux 早就支持,只是一直要靠专用硬件。ServeTheHome 此前演示过一套八节点的英伟达 GB10 集群,合计 1TB 内存,用的是 ConnectX-7 网卡和 200Gbps 以太网,走 RoCE 协议。那套方案的链路速率是 USB4 的数倍,代价是每台机器都得有专用网卡,外加一台交换机。

苹果走的是和微软相近的路线,去年底在 macOS 里给雷雳 5 开放了 RDMA,几台 Mac 堆叠跑大模型的玩法随后多了起来。Windows 阵营这边,VideoCardz 提到一个细节:RTX Spark 系列电脑没有 DGX Spark 那样的 ConnectX-7 接口,微软这项功能瞄准的正是这类机器,也包括 AMD 的 Strix Halo、Gorgon Halo 小主机。

对比下来,USB4 方案的位置很清楚:带宽和扩展性比不了机房里的做法,胜在不用加任何硬件,手头有两三台新电脑的小团队和个人就能试。

什么时候能用

目前公开的 Windows 版本里还没有这项功能。微软计划通过 Windows Insider 的 Experimental 频道推送,具体日期未披露。底层的 NetworkDirect provider 和一份改过的 llama.cpp 推理框架已经开源,想提前折腾的开发者可以先看代码。

还有几件事微软没有说:哪些 USB4 主控芯片在支持名单里、不同品牌的机器能不能混着连、Ollama 和 LM Studio 这类常用工具何时跟进。演示用的都是新一代芯片,老一些的 USB4 电脑是否适用,要等预览版放出后才有实测。

参考来源:微软 USB 技术博客、VideoCardz、CocoLoop;核对三组演示的机器配置、所跑模型与每秒 token 数,以及往返延迟和接线要求。