Microsoft faz vários PCs rodarem um grande modelo via USB4

A Microsoft lançou a prévia para desenvolvedores do RDMA over USB4 para Windows. Vários computadores com Windows podem ser ligados por cabos USB4 comuns e juntar a memória e as GPUs de cada um para rodar o mesmo grande modelo local, sem placas de rede RDMA dedicadas, switches nem drivers de terceiros.

A proposta mira modelos que não cabem na memória de uma única máquina. Até agora, nesse caso era preciso comprimir mais o modelo ou enviar as requisições para a nuvem; agora há mais um caminho: ligar mais uma máquina.

Illustration: three mini PCs linked pairwise by three cables support a red cube representing one shared local AI model

Três mini PCs rodando um modelo de 235B

A Microsoft divulgou duas demonstrações, uma da AMD e outra da Intel.

ConfiguraçãoModeloVelocidade de geração
3 Ryzen AI Max+ 395, 128 GB cadaQwen3-235B-A22B (quantização de 4 bits)18,5 a 21,98 tokens/s
3 Core Ultra Series 3, 64 GB cadaGPT-OSS-120B49,4 tokens/s
4 Core Ultra Series 3, 64 GB cadaGPT-OSS-120B54,2 tokens/s

O grupo da AMD usa mini PCs com GPU integrada Radeon 8060S, cada um com 128 GB de memória unificada. O número 18,5 foi medido pela própria Microsoft; o 21,98 é o resultado da AMD na sua configuração. No grupo da Intel, ao passar de três para quatro máquinas a velocidade sobe de 49,4 para 54,2: uma máquina a mais rende um ganho inferior a dez por cento.

Uma conta aproximada mostra por que juntar máquinas: 235 bilhões de parâmetros armazenados em 4 bits ocupam quase 118 GB só nos pesos. Colocado numa máquina de 128 GB, sobra pouca folga para contexto e sistema; dividido entre três, há espaço para contextos longos. É uma estimativa baseada no número de parâmetros; o uso real depende do formato de quantização e do tamanho do contexto, e a Microsoft não divulgou o consumo de memória de cada nó.

Rapidez vem de contornar a pilha de rede

RDMA significa acesso direto remoto à memória: ao mover dados entre duas máquinas, ele dispensa a maior parte do software de rede convencional. Segundo a Microsoft, a latência de ida e volta para mensagens pequenas fica em torno de 28 a 50 microssegundos, enquanto UDP no mesmo enlace USB4 é cerca de quatro vezes mais lento. As taxas de enlace suportadas são 40 Gbps e 80 Gbps, e portas Thunderbolt 4 e Thunderbolt 5 compatíveis também funcionam.

A inferência distribuída é muito sensível à latência. Quando um modelo é dividido entre várias máquinas, a cada token gerado os resultados intermediários precisam circular entre elas; se a transmissão fica um pouco mais lenta, a velocidade geral cai.

A forma de cabear tem suas exigências. A Microsoft pede que cada computador esteja ligado diretamente a todos os outros: com três máquinas, cada uma ocupa duas portas USB4, num total de três cabos; seguindo a mesma regra, quatro máquinas exigem três portas por máquina e seis cabos. A Microsoft alerta especificamente que ligar as máquinas em cadeia reduz o desempenho de forma sensível. Como os PCs de consumo têm poucas portas USB4, estimamos que o limite dessa solução fique em quatro ou cinco máquinas.

Comparação com soluções de placa dedicada

O RDMA é usado há anos em servidores e clusters de IA, e tanto o Windows quanto o Linux já o suportam, mas sempre com hardware dedicado. O ServeTheHome já demonstrou um cluster de oito nós NVIDIA GB10 com 1 TB de memória no total, usando placas ConnectX-7 e Ethernet de 200 Gbps com o protocolo RoCE. A taxa de enlace dessa solução é várias vezes a do USB4; em troca, cada máquina precisa de uma placa de rede dedicada, além de um switch.

A Apple segue um caminho parecido com o da Microsoft: no fim do ano passado liberou o RDMA para Thunderbolt 5 no macOS, e a prática de empilhar vários Macs para rodar grandes modelos se espalhou depois. Do lado do Windows, o VideoCardz menciona um detalhe: os computadores da série RTX Spark não têm a interface ConnectX-7 do DGX Spark, e é justamente para esse tipo de máquina que o recurso da Microsoft se destina, assim como para os mini PCs AMD Strix Halo e Gorgon Halo.

Na comparação, o lugar da solução USB4 fica claro: não alcança a largura de banda nem a escalabilidade das soluções de datacenter, mas não exige nenhum hardware adicional, e pequenas equipes e indivíduos com dois ou três computadores novos podem experimentar.

Quando estará disponível

Por enquanto, as versões públicas do Windows ainda não incluem o recurso. A Microsoft pretende distribuí-lo pelo canal Experimental do Windows Insider, sem data divulgada. O NetworkDirect provider de baixo nível e uma versão modificada do framework de inferência llama.cpp já são código aberto, e os desenvolvedores que quiserem testar antes podem olhar o código.

Há ainda pontos que a Microsoft não esclareceu: quais controladores USB4 estão na lista de suporte, se máquinas de marcas diferentes podem ser combinadas e quando ferramentas populares como Ollama e LM Studio vão acompanhar. As demonstrações usam chips da nova geração; se computadores USB4 mais antigos servem, só testes reais poderão dizer depois que a prévia for liberada.

Fontes: blog técnico de USB da Microsoft, VideoCardz, CocoLoop; conferidos a configuração das máquinas, os modelos e os tokens por segundo das três demonstrações, além da latência de ida e volta e dos requisitos de cabeamento.