Microsoft hat eine Entwicklervorschau von RDMA over USB4 für Windows veröffentlicht. Mehrere Windows-Rechner lassen sich mit gewöhnlichen USB4-Kabeln verbinden und legen dann ihren Arbeitsspeicher und ihre GPUs zusammen, um gemeinsam ein lokales großes Modell auszuführen. Spezielle RDMA-Netzwerkkarten, Switches oder Treiber von Drittanbietern sind dafür nicht nötig.
Gedacht ist das für Modelle, die nicht in den Speicher eines einzelnen Rechners passen. Bisher blieb dann nur, das Modell stärker zu komprimieren oder die Anfragen in die Cloud zu schicken; nun gibt es einen weiteren Weg: einen zusätzlichen Rechner anzuschließen.

235B auf drei Mini-PCs
Microsoft zeigt zwei Demos, je eine von AMD und von Intel.
| Konfiguration | Modell | Generierungsgeschwindigkeit |
|---|---|---|
| 3 × Ryzen AI Max+ 395, je 128 GB | Qwen3-235B-A22B (4-Bit-Quantisierung) | 18,5 bis 21,98 Token/s |
| 3 × Core Ultra Series 3, je 64 GB | GPT-OSS-120B | 49,4 Token/s |
| 4 × Core Ultra Series 3, je 64 GB | GPT-OSS-120B | 54,2 Token/s |
Die AMD-Konfiguration besteht aus Mini-PCs mit integrierter Radeon 8060S und jeweils 128 GB Unified Memory. Die 18,5 hat Microsoft selbst gemessen, die 21,98 stammen aus AMDs eigener Konfiguration. Bei Intel steigt die Geschwindigkeit von drei auf vier Rechner von 49,4 auf 54,2; ein zusätzlicher Rechner bringt also weniger als zehn Prozent mehr.
Eine grobe Rechnung zeigt, warum man Rechner zusammenschaltet: 235 Milliarden Parameter in 4 Bit belegen allein für die Gewichte fast 118 GB. Auf einem Rechner mit 128 GB bleibt danach kaum Spielraum für Kontext und System; erst auf drei Geräte verteilt ist Platz für lange Kontexte. Das ist eine Schätzung anhand der Parameterzahl; der tatsächliche Bedarf hängt vom Quantisierungsformat und der Kontextlänge ab, und Microsoft nennt keine Speicherbelegung pro Knoten.
Schnell, weil der Netzwerkstack umgangen wird
RDMA steht für Remote Direct Memory Access: Beim Datenaustausch zwischen zwei Rechnern wird der Großteil der üblichen Netzwerksoftware umgangen. Laut Microsoft liegt die Round-Trip-Latenz kleiner Nachrichten bei etwa 28 bis 50 Mikrosekunden; über UDP auf derselben USB4-Verbindung ist es ungefähr viermal langsamer. Unterstützt werden Verbindungsraten von 40 und 80 Gbit/s, kompatible Thunderbolt-4- und Thunderbolt-5-Anschlüsse funktionieren ebenfalls.
Verteilte Inferenz reagiert empfindlich auf Latenz. Wird ein Modell auf mehrere Rechner aufgeteilt, müssen die Zwischenergebnisse für jeden erzeugten Token einmal zwischen den Maschinen hin- und herwandern; ist die Übertragung etwas langsamer, sinkt die Gesamtgeschwindigkeit.
Bei der Verkabelung gibt es Vorgaben. Microsoft verlangt, dass jeder Rechner direkt mit jedem anderen verbunden ist: Bei drei Geräten belegt jedes zwei USB4-Anschlüsse, insgesamt sind es drei Kabel; nach derselben Regel braucht man bei vier Geräten pro Rechner drei Anschlüsse und sechs Kabel. Microsoft weist ausdrücklich darauf hin, dass die Leistung deutlich einbricht, wenn man die Rechner als Kette verbindet. Da Consumer-PCs nur wenige USB4-Anschlüsse haben, dürfte nach unserer Einschätzung bei vier oder fünf Geräten Schluss sein.
Im Vergleich zu Lösungen mit Spezialkarten
RDMA wird in Servern und KI-Clustern seit Jahren genutzt, Windows und Linux unterstützen es längst, aber stets nur mit Spezialhardware. ServeTheHome hat zuvor einen Cluster aus acht NVIDIA-GB10-Knoten mit zusammen 1 TB Speicher vorgeführt, der ConnectX-7-Netzwerkkarten und 200-Gbit/s-Ethernet mit dem RoCE-Protokoll nutzt. Die Verbindungsrate dieser Lösung liegt ein Vielfaches über USB4; dafür braucht jeder Rechner eine eigene Netzwerkkarte, dazu kommt ein Switch.
Apple geht einen ähnlichen Weg wie Microsoft: Ende des vergangenen Jahres hat der Konzern RDMA für Thunderbolt 5 in macOS freigegeben, seither wird das Stapeln mehrerer Macs für große Modelle häufiger ausprobiert. Auf der Windows-Seite verweist VideoCardz auf ein Detail: Rechner der Reihe RTX Spark haben keinen ConnectX-7-Anschluss wie der DGX Spark, und genau auf solche Geräte zielt Microsofts Funktion ab, ebenso auf die Mini-PCs mit AMD Strix Halo und Gorgon Halo.
Die Einordnung der USB4-Lösung ist damit klar: Bandbreite und Skalierbarkeit reichen nicht an das Vorgehen im Rechenzentrum heran, dafür braucht man keinerlei zusätzliche Hardware, und kleine Teams oder Privatleute mit zwei oder drei neuen Rechnern können es ausprobieren.
Wann es verfügbar ist
In den derzeit öffentlichen Windows-Versionen ist die Funktion noch nicht enthalten. Microsoft plant die Bereitstellung über den Experimental-Kanal des Windows Insider Program; ein Termin wurde nicht genannt. Der zugrunde liegende NetworkDirect-Provider und eine angepasste Version des Inferenz-Frameworks llama.cpp sind bereits Open Source, Entwickler, die früher experimentieren wollen, können sich den Code ansehen.
Einige Punkte hat Microsoft nicht geklärt: welche USB4-Controller auf der Unterstützungsliste stehen, ob sich Geräte verschiedener Hersteller mischen lassen und wann gängige Werkzeuge wie Ollama und LM Studio nachziehen. Die Demos nutzen alle Chips der neuen Generation; ob ältere USB4-Rechner geeignet sind, zeigt sich erst mit praktischen Tests, sobald die Vorschau verfügbar ist.
Quellen: Microsoft USB-Technikblog, VideoCardz, CocoLoop; geprüft wurden Hardwarekonfiguration, Modelle und Token pro Sekunde der drei Demos sowie Round-Trip-Latenz und Verkabelungsvorgaben.