Liquid AI 用蒸馏把 Q4_0 救回 97% 精度
编辑精选 Q4 0 是 llama.cpp 里最老的四比特格式,精度差到社区基本弃用,Liquid AI 却用蒸馏把分数拉回 BF16 的九成七。拿训练侧的一次性成本,换 Arm 手机上那几毫秒。 Liquid AI 在 Hugging F
收录 大模型效率 相关 AI 新闻、产品动态和产业观察。 本页收录 2 篇已发布文章。
编辑精选 Q4 0 是 llama.cpp 里最老的四比特格式,精度差到社区基本弃用,Liquid AI 却用蒸馏把分数拉回 BF16 的九成七。拿训练侧的一次性成本,换 Arm 手机上那几毫秒。 Liquid AI 在 Hugging F
3月25日,Google Research发了一篇论文,然后一大堆人在推特上叫它"Pied Piper"——就是《硅谷》里那个靠压缩算法险些改变互联网历史的虚构公司。 这个类比有点夸张,但也没那么离谱。 TurboQuant的核心主张:把大