ICML 2026 把大奖给了扩散模型

ICML 2026 在首尔开幕当天公布年度奖项,两个 Outstanding Paper Award 都落在扩散模型相关研究上。其中一篇来自 Zanlin Ni、Shenzhi Wang、Yang Yue 等人与清华大学黄高团队,讨论扩散语言模型里“任意生成顺序”的代价;另一篇来自 Fan Chen、Sinho Chewi、Constantinos Daskalakis 和 Alexander Rakhlin,聚焦扩散模型与对数凹分布的高精度采样。

“We are pleased to announce the following award recipients”

这次评奖流程也被 ICML 官方一起摊开。项目主席先从评审分数和 Area Chair 提名里选出 53 篇初始候选,再压缩到 22 篇短名单;最终选择交给 11 人评奖委员会,每篇匿名论文由两名委员阅读,委员会逐篇讨论。最后只有 2 篇拿到 Outstanding Paper,另有 5 篇 Honorable Mention。粗算下来,大奖只占初始候选的 3.8%,占短名单的 9.1%。

清华团队获奖论文的题目是《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》。扩散语言模型常被认为有一个重要优势:它不必像自回归模型那样从左到右一个词一个词生成,可以按置信度或其他顺序并行补全。这个自由度理论上会带来速度优势,也被不少研究视为区别于传统大语言模型的核心卖点。

ICML 给出的获奖理由恰好反过来看这件事。论文指出,在通用推理任务里,扩散语言模型会借这种自由度绕开高不确定性的关键分叉 token,结果让解法多样性塌缩。也就是说,模型看似更灵活,实际可能避开最需要思考的位置。作者据此提出 JustGRPO:强化学习 rollout 阶段回到更简单的从左到右顺序,推理阶段仍保留并行解码。

这个判断对大模型研究有现实意义。过去一年,业界越来越多地把扩散路线拿来挑战自回归路线,理由通常是生成速度、并行能力和更低延迟。但如果训练阶段的采样策略会改变模型学到的推理路径,扩散语言模型的竞争点就不能只看“是不是并行”。它还要回答一个更底层的问题:模型是在真正处理难点,还是把难点从生成顺序里绕过去。

另一篇获奖论文处理的是采样效率。它要解决的问题是:只用 score 或梯度查询,能不能用 polylog(1/ε) 级别步数达到 ε 误差,而不是像传统离散采样器那样消耗 poly(1/ε) 步。论文提出 first-order rejection sampling,官方说明中给出的结果是 O(d·polylog(1/ε)) 采样器,并把这一思路扩展到一般对数凹分布。

把两个大奖放在一起看,今年 ICML 对扩散模型的关注不是“图像生成又变强了”这么简单。一篇在语言模型里拆开扩散生成的自由度,一篇从理论上压低高精度采样的函数评估次数。前者问扩散模型能不能承担推理,后者问扩散模型能不能更便宜、更准地采样。两条线都指向同一件事:扩散模型正在从视觉生成工具,变成机器学习基础设施的一部分。

同一批奖项里,位置论文奖给了“对齐社区可能无意中构建审查工具”的讨论;时间检验奖给了 2016 年的 A3C 论文《Asynchronous Methods for Deep Reinforcement Learning》。A3C 当年强调并行 actor-learner 稳定强化学习,如今又被官方点名为 LLM 后训练成功的重要基础之一。这个安排很有时代感:一边是扩散模型争夺新路线,一边是十年前的强化学习方法继续在大模型训练里发挥作用。

对中文研究社区来说,黄高团队这篇论文的意义不只是一枚顶会奖牌。它把国内团队放到了扩散语言模型路线讨论的中心位置,而且切入点不是堆更大的模型或更贵的算力,而是指出一个被乐观叙事遮住的失败模式。等扩散语言模型真正进入产品和 API 竞争,这类关于训练顺序、推理多样性和 rollout 设计的细节,可能会比单次榜单分数更能决定路线能走多远。