量化与蒸馏成大模型上小设备核心技术
大模型能力越来越强，但部署成本也越来越高。 量化和蒸馏 是目前最主流的两种"把模型变小变快"的技术路线。 量化：降精度 核心思路：把模型权重从高精度格式（FP32/FP16）压缩到低精度格式（INT8/INT4甚至更低）。 训练后量化（PT
技术 资讯与深度分析
收录 技术 相关 AI 新闻、产品动态和产业观察。 本页收录 4 篇已发布文章。
大模型上下文窗口冲上100万token
两年前主流模型的上下文窗口还在4K到8K这个量级，现在百万级token已经是旗舰模型的标配了。 当前格局 Gemini 2.5 Pro ：100万token（可扩展到200万） Claude Opus 4.6 ：100万token（beta
MiniMax-01 用 Lightning Attention 降低算力
MiniMax去年发布的01系列模型里有个技术亮点叫 Lightning Attention ，核心目的很直接—— 降低注意力机制的计算复杂度 。 传统注意力机制的问题 标准的Transformer注意力是O n² 复杂度——输入长度翻倍，
DeepSeek低成本训练大模型解析
DeepSeek在成本控制上的水平已经成了行业传说级别的存在： V3 训练成本：约$550万 R1 GPU使用费：约$29.4万 同期美国公司训类似规模模型的预算是 $1亿到$10亿 。差了至少一个数量级。 省钱秘诀 1. FP8混合精度训