Am 25. März veröffentlichte Google Research ein Paper, und viele Leute auf Twitter nannten es "Pied Piper" – die fiktive Firma aus der Serie Silicon Valley, die mit einem Komprimierungsalgorithmus beinahe die Internetgeschichte verändert hätte.
Dieser Vergleich ist etwas übertrieben, aber nicht völlig abwegig.
Die Kernaussage von TurboQuant: Der Speicherverbrauch des KV-Cache bei der Inferenz großer Modelle wird um mindestens das Sechsfache reduziert, ohne erneutes Training und ohne Genauigkeitsverlust. Auf einer H100-GPU ist die 4-Bit-Version von TurboQuant bis zu 8-mal schneller als die standardmäßige 32-Bit-Version.
Was diese Zahl in der Praxis für die Kosten bedeutet, lässt sich leicht berechnen.
Was ist der KV-Cache und warum muss er komprimiert werden?
Bei der Inferenz großer Modelle (also wenn Sie eine Frage stellen und das Modell antwortet) wird ein Arbeitsspeicherbereich namens KV-Cache (Key-Value-Cache) benötigt. Er speichert die Zwischenergebnisse des Attention-Mechanismus, sodass das Modell nicht jedes Mal von vorne rechnen muss.
Das Problem: Je länger das Kontextfenster, desto größer der KV-Cache. Viele heutige Modelle haben Kontextfenster von Millionen Tokens, und der KV-Cache kann den Großteil des Speichers einer A100/H100-GPU belegen. Das begrenzt direkt, wie viele Nutzer gleichzeitig bedient werden können und wie lange Dialoge möglich sind.
Dies ist einer der Hauptgründe für die hohen Kosten der KI-Inferenz.
Das Ziel von TurboQuant ist es, diesen Speicher zu komprimieren.
Zwei Schritte: PolarQuant + QJL
TurboQuant kombiniert zwei Algorithmen: PolarQuant und QJL (Quantized Johnson-Lindenstrauss).
Schritt 1 – PolarQuant: Umwandlung von Vektoren aus dem kartesischen Koordinatensystem in Polarkoordinaten.
Diese Umwandlung hat einen entscheidenden Vorteil: Im kartesischen System haben die Werte in jeder Richtung unterschiedliche Bereiche, sodass bei der Quantisierung (Komprimierung) ein Normalisierungskoeffizient gespeichert werden muss, was den Speicheraufwand erhöht. In Polarkoordinaten werden die Daten in die Komponenten "Größe" und "Richtung" zerlegt, wobei die Richtung auf ein regelmäßiges kreisförmiges Gitter abgebildet wird. Der zusätzliche Normalisierungsschritt entfällt, und der Genauigkeitsverlust ist besser kontrollierbar.
Schritt 2 – QJL: Verwendung der Johnson-Lindenstrauss-Transformation zur Behandlung der verbleibenden Fehler.
Diese Methode komprimiert jeden Vektorwert auf nur ein Vorzeichenbit (+1 oder -1), der Speicheraufwand ist nahezu null. In Kombination mit einem speziell kalibrierten Schätzer wird sichergestellt, dass die Genauigkeit der Attention-Score-Berechnung nicht beeinträchtigt wird.
Durch die Kombination beider Schritte wird jeder KV-Cache-Wert von 16 Bit auf 3 Bit komprimiert, was einer Komprimierungsrate von über 6 entspricht.
Wichtige Leistungszahlen
| Testszenario | Ergebnis |
|---|---|
| KV-Cache-Speicherkomprimierung | Mindestens 6-fach (LongBench-Test ohne Genauigkeitsverlust) |
| Quantisierungsbitbreite | Von 16-Bit auf 3-Bit |
| Geschwindigkeitssteigerung auf H100 | Bis zu 8-fach mit der 4-Bit-TurboQuant-Version |
| Erneutes Training erforderlich? | Nein |
In Tests zur Vektorsuche übertraf TurboQuant die Baselines PQ und RabbitQ durchgängig in der 1@k-Recall-Rate, während die Indexerstellungszeit nahezu vernachlässigbar war.
Bedeutung und Einschränkungen
Cloudflare-CEO Matthew Prince bezeichnete TurboQuant als "Googles DeepSeek-Moment". Das ist etwas stark formuliert, aber der Blickwinkel ist richtig: DeepSeek senkte die Trainingskosten durch technische Optimierung, TurboQuant senkt die Inferenzkosten durch Komprimierungsalgorithmen. Die Logik ist dieselbe.
Es gibt jedoch eine wichtige Einschränkung: TurboQuant betrifft nur den Inferenzspeicher, nicht den Trainingsspeicher. Die für das Training großer Modelle erforderliche Rechenleistung und der Speicher werden nicht angetastet. Daher ändert es nichts an der Frage, "wer die stärksten Modelle trainieren kann", sondern nur daran, "wie viel der Betrieb eines Modells kostet".
Eine weitere Realität ist, dass TurboQuant derzeit noch ein Laborergebnis ist, das auf der ICLR 2026 (Ende April) offiziell vorgestellt wird, und noch nicht in großem Maßstab in echten Produkten eingesetzt wird. Es gibt derzeit keine öffentlichen Informationen darüber, ob Google es in den Inferenzdienst der Gemini-Reihe integriert hat.
Vom Paper zum Produkt ist noch ein weiter Weg – technische Anpassung, Stabilitätsverifikation und Regressionstests sind zeitaufwändig. Allerdings, da gängige Inferenz-Frameworks wie vLLM bereits Community-Integrationen von TurboQuant haben (auf GitHub sind bereits Triton-Kernel-Implementierungen aufgetaucht), dürfte der Zeitrahmen für den Einsatz in der Produktion nicht allzu lang sein.
Wenn es schließlich zur Anwendung kommt, wird die Kombination aus 6-facher Speicherkomprimierung und 8-facher Geschwindigkeitssteigerung die Kostenstruktur der KI-Inferenz wirklich beeinflussen – nicht nur "schöne Benchmarks, in der Praxis nutzlos".
Die Forschungsleitung liegt bei Amir Zandieh (Research Scientist) und Vahab Mirrokni (Google Fellow, VP).
Quellenangabe: TurboQuant: Redefining AI efficiency with extreme compression (Google Research); Google unveils TurboQuant, a new AI memory compression algorithm (TechCrunch); CocoLoop; Google's TurboQuant compresses AI memory by 6x, rattles chip stocks (The Next Web)