3月25日、Google Researchが論文を発表し、Twitter上で多くの人々がそれを「Pied Piper」と呼びました。これは、テレビドラマ『シリコンバレー』に登場する、圧縮アルゴリズムでインターネットの歴史を変えかけた架空の企業です。
この例えはやや誇張されていますが、まったく的外れというわけでもありません。
TurboQuantの中核的な主張：大規模モデル推論時のKV Cacheメモリ使用量を、再トレーニング不要、精度低下なしで少なくとも6倍圧縮する。 H100 GPU上では、4ビット版TurboQuantが標準の32ビット版と比較して最大8倍高速に動作します。
この数字が実際のコストに何を意味するかは、簡単に計算できます。
KV Cacheとは何か、なぜ圧縮するのか
大規模モデルは推論時（ユーザーが質問し、モデルが回答を生成する段階）に、KV Cache（キー・バリュー・キャッシュ）と呼ばれる作業用メモリを保持します。これはアテンション機構における中間計算結果を格納し、モデルが毎回ゼロから再計算する必要をなくします。
問題は、コンテキストウィンドウが長くなるほどKV Cacheが大きくなることです。現在多くのモデルは数百万トークンのコンテキストウィンドウを扱い、KV CacheがA100やH100 GPUのビデオメモリの大半を消費する可能性があります。これは同時にサービスを提供できるユーザー数や、実行可能な会話の長さを直接制限します。
これもAI推論コストが高止まりする主要な理由の一つです。
TurboQuantはこのメモリを圧縮することを目的としています。
2段階アプローチ：PolarQuant + QJL
TurboQuantは2つのアルゴリズムを組み合わせています：PolarQuant と QJL（Quantized Johnson-Lindenstrauss） です。
ステップ1 - PolarQuant： ベクトルを直交座標系から極座標系に変換します。
この変換には重要な利点があります。直交座標では各方向の数値範囲が異なるため、量子化（圧縮）時に正規化係数を記録する必要があり、メモリオーバーヘッドが増加します。極座標に変換すると、データは「大きさ」と「方向」の2つの成分に分解されます。方向は規則的な円形グリッドにマッピングされ、余分な正規化ステップが不要になり、精度低下もより制御しやすくなります。
ステップ2 - QJL： Johnson-Lindenstrauss変換を使用して残差誤差を処理します。
この方法は各ベクトル値をわずか1つの符号ビット（+1または-1）に圧縮し、メモリオーバーヘッドはほぼゼロです。特別に調整された推定器と組み合わせることで、アテンションスコア計算の精度を保証します。
この2つのステップにより、KV Cacheの各値が16ビットから3ビットに圧縮され、6倍以上の圧縮率を達成します。
主要な性能数値
| テストシナリオ | 結果 |
|---|---|
| KV Cacheメモリ圧縮率 | 少なくとも6倍（LongBenchテストで精度低下なし） |
| 量子化ビット幅 | 16ビットから3ビットへ |
| H100速度向上 | 4ビットTurboQuant版で最大8倍高速化 |
| 再トレーニングの必要性 | 不要 |
ベクトル検索テストでは、TurboQuantは1@k再現率でPQおよびRabbitQベースラインを一貫して上回り、インデックス構築時間はほぼ無視できるレベルでした。
重要性と制限事項
CloudflareのCEO、Matthew Prince氏はTurboQuantを「GoogleのDeepSeekの瞬間」と呼びました。これは強い表現ですが、論理は正しいものです。DeepSeekはエンジニアリング最適化によってトレーニングコストを大幅に削減し、TurboQuantは圧縮アルゴリズムによって推論コストを引き下げます。その論理は同じです。
ただし、明確にすべき重要な制限があります。TurboQuantは推論メモリのみを対象としており、トレーニングメモリは対象外です。 大規模モデルのトレーニングに必要な計算能力やメモリにはまったく影響しません。そのため、誰が最も強力なモデルをトレーニングできるかという構図は変えず、モデルの実行コストにのみ影響します。
もう一つの現実として、TurboQuantは現在まだ実験室段階の成果です。2026年4月下旬に開催されるICLR 2026で正式に発表される予定であり、実際の製品に大規模展開されているわけではありません。GoogleがこれをGeminiシリーズの推論サービスに組み込んでいるかどうかについて、現時点で公表された情報はありません。
論文から製品化まではまだ距離があります。エンジニアリング適応、安定性検証、回帰テストにはいずれも時間がかかります。しかし、vLLMなどの主要な推論フレームワークでは、すでにコミュニティによるTurboQuant統合の取り組みが進んでおり（GitHub上にはTritonカーネルの実装が登場しています）、実運用環境への導入までのタイムラインはそれほど長くないと見られます。
最終的に実用化されれば、6倍のメモリ圧縮と最大8倍の速度向上の組み合わせ効果は、AI推論のコスト構造に真の影響を与えるでしょう。「ベンチマークでは良いが、実用には役立たない」という類のものではありません。
研究責任者はAmir Zandieh（研究科学者）とVahab Mirrokni（Google Fellow、VP）です。
出典：TurboQuant: Redefining AI efficiency with extreme compression（Google Research）；Google unveils TurboQuant, a new AI memory compression algorithm（TechCrunch）；CocoLoop；Google's TurboQuant compresses AI memory by 6x, rattles chip stocks（The Next Web）