AI推論最適化のニュースと分析

Google TurboQuant、AI推論メモリを6倍圧縮

Google ResearchのTurboQuantは、再トレーニングや精度低下なしに大規模言語モデルのKV Cacheメモリを少なくとも6倍圧縮し、H100 GPUで最大8倍の高速化を実現。