量化 2026-04-07 量化与蒸馏成大模型上小设备核心技术 大模型能力越来越强,但部署成本也越来越高。 量化和蒸馏 是目前最主流的两种"把模型变小变快"的技术路线。 量化:降精度 核心思路:把模型权重从高精度格式(FP32/FP16)压缩到低精度格式(INT8/INT4甚至更低)。 训练后量化(PT #蒸馏#模型优化#技术