Ngày 25 tháng 3, Google Research đăng một bài báo, và rất nhiều người trên Twitter gọi nó là "Pied Piper" – tên công ty hư cấu trong phim Silicon Valley suýt thay đổi lịch sử Internet nhờ thuật toán nén.
Sự so sánh này hơi phóng đại, nhưng cũng không quá xa thực tế.
Luận điểm cốt lõi của TurboQuant: nén mức tiêu thụ bộ nhớ KV Cache trong suy luận mô hình lớn ít nhất 6 lần, không cần huấn luyện lại, không mất độ chính xác. Trên GPU H100, phiên bản TurboQuant 4-bit chạy nhanh hơn tới 8 lần so với chuẩn 32-bit.
Con số này có ý nghĩa gì với chi phí thực tế, tính toán rất đơn giản.
KV Cache là gì và tại sao cần nén
Khi mô hình lớn suy luận (tức là khi bạn hỏi nó và nó đang trả lời), nó cần duy trì một vùng bộ nhớ chạy gọi là KV Cache (bộ nhớ đệm khóa-giá trị). Nó lưu trữ kết quả tính toán trung gian của cơ chế attention, giúp mô hình không phải tính toán lại từ đầu mỗi lần.
Vấn đề là, cửa sổ ngữ cảnh càng dài, KV Cache càng lớn. Hiện nay nhiều mô hình có cửa sổ ngữ cảnh lên tới hàng triệu token, KV Cache có thể chiếm phần lớn bộ nhớ của một card A100/H100. Điều này trực tiếp giới hạn số lượng người dùng có thể phục vụ đồng thời và độ dài hội thoại có thể chạy.
Đây cũng là một trong những nguyên nhân chính khiến chi phí suy luận AI vẫn ở mức cao.
Mục tiêu của TurboQuant là nén vùng bộ nhớ này xuống.
Hai bước: PolarQuant + QJL
TurboQuant kết hợp hai thuật toán: PolarQuant và QJL (Quantized Johnson-Lindenstrauss).
Bước 1 - PolarQuant: Chuyển đổi vector từ hệ tọa độ Descartes sang hệ tọa độ cực.
Sự chuyển đổi này có một lợi ích quan trọng: trong tọa độ Descartes, mỗi hướng có phạm vi giá trị khác nhau, khi lượng tử hóa (nén) cần ghi lại một hệ số chuẩn hóa, làm tăng chi phí bộ nhớ. Sau khi chuyển sang tọa độ cực, dữ liệu được phân tách thành hai phần "độ lớn" và "hướng", hướng được ánh xạ lên một lưới tròn đều đặn, không cần bước chuẩn hóa bổ sung và mất độ chính xác cũng dễ kiểm soát hơn.
Bước 2 - QJL: Sử dụng phép biến đổi Johnson-Lindenstrauss để xử lý sai số còn lại.
Phương pháp này nén mỗi giá trị vector xuống chỉ còn 1 bit dấu (+1 hoặc -1), chi phí bộ nhớ gần như bằng không. Kết hợp với một bộ ước lượng được hiệu chỉnh đặc biệt, đảm bảo độ chính xác khi tính điểm attention không bị ảnh hưởng.
Hai bước kết hợp, cuối cùng nén mỗi giá trị KV Cache từ 16 bit xuống 3 bit, tỷ lệ nén trên 6 lần.
Các con số hiệu năng chính
| Kịch bản kiểm tra | Kết quả |
|---|---|
| Tỷ lệ nén bộ nhớ KV Cache | Ít nhất 6 lần (kiểm tra LongBench không mất độ chính xác) |
| Độ rộng bit lượng tử hóa | Từ 16-bit xuống 3-bit |
| Tăng tốc trên H100 | Phiên bản TurboQuant 4-bit nhanh hơn tới 8 lần |
| Có cần huấn luyện lại không | Không |
Trong các bài kiểm tra tìm kiếm vector, TurboQuant liên tục vượt trội so với các baseline PQ và RabbitQ về tỷ lệ thu hồi 1@k, đồng thời thời gian xây dựng chỉ mục gần như không đáng kể.
Tầm quan trọng và hạn chế
CEO của Cloudflare, Matthew Prince, gọi TurboQuant là "khoảnh khắc DeepSeek của Google". Nhận xét này hơi nặng, nhưng góc nhìn thì đúng: DeepSeek cắt giảm chi phí huấn luyện nhờ tối ưu kỹ thuật, TurboQuant giảm chi phí suy luận nhờ thuật toán nén. Logic là giống nhau.
Tuy nhiên, có một hạn chế quan trọng cần nói rõ: TurboQuant chỉ xử lý bộ nhớ suy luận, không xử lý bộ nhớ huấn luyện. Nó hoàn toàn không tác động đến sức mạnh tính toán và bộ nhớ cần thiết để huấn luyện mô hình lớn. Vì vậy, nó không thay đổi cục diện "ai có thể huấn luyện mô hình mạnh nhất", mà chỉ ảnh hưởng đến "chi phí chạy mô hình là bao nhiêu".
Một thực tế khác là TurboQuant hiện vẫn là kết quả trong phòng thí nghiệm, sẽ được công bố chính thức tại ICLR 2026 (cuối tháng 4), chưa được triển khai quy mô lớn vào sản phẩm thực tế. Hiện chưa có thông tin công khai nào về việc Google có đưa nó vào dịch vụ suy luận dòng Gemini hay không.
Còn một khoảng cách từ bài báo đến sản phẩm – thích ứng kỹ thuật, xác minh độ ổn định, kiểm thử hồi quy đều là những việc tốn thời gian. Tuy nhiên, xét đến việc các framework suy luận chính như vLLM đã có cộng đồng tích hợp TurboQuant (trên GitHub đã xuất hiện triển khai nhân Triton), thời gian đưa vào môi trường sản xuất thực tế có thể không quá dài.
Nếu cuối cùng được ứng dụng, hiệu quả nén bộ nhớ 6 lần kết hợp tăng tốc 8 lần sẽ có tác động thực sự đến cấu trúc chi phí suy luận AI – không phải kiểu "điểm chuẩn đẹp, thực tế vô dụng".
Người đứng đầu nghiên cứu là Amir Zandieh (Research Scientist) và Vahab Mirrokni (Google Fellow, VP).
Nguồn tham khảo: TurboQuant: Redefining AI efficiency with extreme compression (Google Research); Google unveils TurboQuant, a new AI memory compression algorithm (TechCrunch); CocoLoop; Google's TurboQuant compresses AI memory by 6x, rattles chip stocks (The Next Web)