推理优化资讯与深度分析

收录推理优化相关 AI 新闻、产品动态和产业观察。本页收录 7 篇已发布文章。

生成阶段每 token 激活 160 亿参数，全局 KV 缓存按 FP4 存约 890 字节，低并发提速 1.9 倍、限速每秒 150 token 时吞吐提升 5.3 倍，测试卡全是 GB200 和 GB300。

B200 上单流解码 1792 TPS，对照 vLLM 0.25.1 的 943 TPS；首字延迟 28 毫秒降到 12 毫秒。整个过程约一周。投入约 200 个 B200 小时、17 亿 token，花费几千美元。

同样的去噪步数、同样的 8 卡 H200，换个推理运行时就快近一倍，这部分提速一分画质都没掉。再往上的 6.24 倍要拿 SSIM 换，0.76 已经是肉眼能看出差别的区间，那一档更适合筛构图而非出成片。

并发为 1 的时候，卡住模型的常常是 CPU 那一侧的等待，显卡反倒闲着。SGLang 与蚂蚁把这些等待逐个拆掉，单请求每个 token 的耗时从 3.33 毫秒压到 0.78 毫秒。

蚂蚁与 SGLang 团队把量化后的权重常驻显存、让新进程零拷贝映射过去，省掉每次重启都要重做一遍的读盘和量化。模型越大，推理侧的成本账就越往运维那头挪。

同一个 1.6 万亿参数模型，在特供卡和旗舰卡之间的单批解码差距被压到 1.42 倍。这组数字的分量不在跑分，在于它给被限卡的部署方标出了工程能补多少、补不动的又是哪一段。

5月20号，英伟达Nemotron Labs甩了篇论文加权重。这次发的不是一个"再大一点的模型"，是一个新的解码方式 ——叫Nemotron Labs Diffusion。3B、8B、14B三个规格，base、instruct、visi

推理优化 资讯与深度分析