Pada 25 Maret, Google Research menerbitkan sebuah makalah, dan banyak orang di Twitter menyebutnya "Pied Piper"—perusahaan fiktif dari acara TV Silicon Valley yang hampir mengubah sejarah internet berkat algoritma kompresinya.
Analogi ini agak berlebihan, tapi tidak sepenuhnya meleset.
Klaim inti TurboQuant: mengompres penggunaan memori KV Cache saat inferensi model besar setidaknya 6 kali lipat, tanpa perlu pelatihan ulang dan tanpa mengorbankan akurasi. Pada GPU H100, versi TurboQuant 4-bit berjalan hingga 8 kali lebih cepat dibandingkan versi standar 32-bit.
Apa arti angka ini dalam biaya nyata, cukup mudah dihitung.
Apa itu KV Cache dan mengapa perlu dikompres
Saat inferensi—fase ketika Anda bertanya pada model dan model menjawab—model besar menyimpan memori kerja yang disebut KV Cache (key-value cache). Memori ini menyimpan hasil antara dari mekanisme attention, sehingga model tidak perlu menghitung ulang semuanya dari awal setiap kali.
Masalahnya, semakin panjang jendela konteks, semakin besar KV Cache. Banyak model kini menangani jendela konteks jutaan token, dan KV Cache dapat menghabiskan sebagian besar memori video pada GPU A100 atau H100. Ini secara langsung membatasi jumlah pengguna yang dapat dilayani secara bersamaan dan seberapa panjang percakapan yang bisa dijalankan.
Ini juga salah satu alasan utama biaya inferensi AI tetap tinggi.
TurboQuant bertujuan untuk mengompres memori ini.
Pendekatan dua langkah: PolarQuant + QJL
TurboQuant menggabungkan dua algoritma: PolarQuant dan QJL (Quantized Johnson-Lindenstrauss).
Langkah 1 - PolarQuant: Mengubah vektor dari koordinat Kartesian ke koordinat polar.
Konversi ini memiliki keuntungan penting: dalam koordinat Kartesian, rentang numerik setiap arah berbeda, sehingga saat kuantisasi (kompresi) perlu mencatat koefisien normalisasi, yang menambah overhead memori. Setelah beralih ke koordinat polar, data dipecah menjadi komponen "magnitudo" dan "arah". Arah dipetakan ke grid lingkaran yang teratur, menghilangkan kebutuhan langkah normalisasi tambahan dan membuat kehilangan presisi lebih terkendali.
Langkah 2 - QJL: Menggunakan transformasi Johnson-Lindenstrauss untuk menangani kesalahan residual.
Metode ini mengompres setiap nilai vektor menjadi hanya 1 bit tanda (+1 atau -1), dengan overhead memori mendekati nol. Dikombinasikan dengan estimator yang dikalibrasi secara khusus, metode ini memastikan akurasi dalam perhitungan skor attention.
Kedua langkah ini bersama-sama mengompres setiap nilai KV Cache dari 16 bit menjadi 3 bit, mencapai rasio kompresi lebih dari 6x.
Angka kinerja utama
| Skenario pengujian | Hasil |
|---|---|
| Rasio kompresi memori KV Cache | Setidaknya 6x (tanpa kehilangan akurasi pada pengujian LongBench) |
| Lebar bit kuantisasi | Dari 16-bit menjadi 3-bit |
| Peningkatan kecepatan H100 | Hingga 8x lebih cepat dengan TurboQuant 4-bit |
| Perlu pelatihan ulang | Tidak |
Dalam pengujian pencarian vektor, TurboQuant secara konsisten mengungguli baseline PQ dan RabbitQ dalam recall@1, sementara waktu pembuatan indeks hampir dapat diabaikan.
Seberapa penting, dan apa keterbatasannya
CEO Cloudflare, Matthew Prince, menyebut TurboQuant sebagai "momen DeepSeek-nya Google." Pernyataan itu agak berat, tapi logikanya tepat: DeepSeek memangkas biaya pelatihan melalui optimasi teknik, sementara TurboQuant menekan biaya inferensi melalui kompresi. Logikanya sama.
Namun, ada satu keterbatasan penting yang perlu dijelaskan: TurboQuant hanya menangani memori inferensi, bukan memori pelatihan. TurboQuant sama sekali tidak menyentuh daya komputasi atau memori yang diperlukan untuk melatih model besar. Jadi, ini tidak akan mengubah siapa yang bisa melatih model terkuat—hanya berapa biaya untuk menjalankannya.
Realitas lainnya adalah TurboQuant masih merupakan hasil laboratorium. Makalah ini akan dipresentasikan secara resmi di ICLR 2026 (akhir April) dan belum diterapkan secara luas ke produk nyata. Belum ada informasi publik apakah Google telah mengintegrasikannya ke dalam layanan inferensi seri Gemini.
Masih ada jarak antara makalah dan produk—adaptasi teknik, validasi stabilitas, dan pengujian regresi semuanya membutuhkan waktu. Namun, mengingat framework inferensi mainstream seperti vLLM sudah memiliki upaya komunitas untuk mengintegrasikan TurboQuant (implementasi kernel Triton telah muncul di GitHub), garis waktu untuk memasuki lingkungan produksi seharusnya tidak terlalu lama.
Jika akhirnya diterapkan, efek gabungan dari kompresi memori 6x dan peningkatan kecepatan hingga 8x akan berdampak nyata pada struktur biaya inferensi AI—bukan jenis hasil yang "tampak bagus di benchmark, tidak berguna dalam praktik."
Penelitian ini dipimpin oleh Amir Zandieh (Ilmuwan Riset) dan Vahab Mirrokni (Google Fellow, VP).
Sumber: TurboQuant: Redefining AI efficiency with extreme compression (Google Research); Google unveils TurboQuant, a new AI memory compression algorithm (TechCrunch); CocoLoop; Google's TurboQuant compresses AI memory by 6x, rattles chip stocks (The Next Web)