端侧AI 2026-08-19 Liquid AI 用蒸馏把 Q4_0 救回 97% 精度 Q4 0 是 llama.cpp 里最老的四比特格式,精度差到社区基本弃用,Liquid AI 却用蒸馏把分数拉回 BF16 的九成七。拿训练侧的一次性成本,换 Arm 手机上那几毫秒。 #开源#AI推理优化#大模型效率
Google 2026-04-20 谷歌 TurboQuant 把 AI 推理内存压缩 6 倍 3月25日,Google Research发了一篇论文,然后一大堆人在推特上叫它"Pied Piper"——就是《硅谷》里那个靠压缩算法险些改变互联网历史的虚构公司。 这个类比有点夸张,但也没那么离谱。 TurboQuant的核心主张:把大 #AI推理优化#大模型效率#技术突破