评测机构 METR 11 月 20 日发布四季度能力测量更新。主要结论有两条:在新旧两套任务合并后的口径下,前沿模型能独立完成的任务时长大约每 3.6 个月翻一倍;同时,这类能力越来越难测准。报告开头写道,现有公开证据不足以排除未来两三年内 AI 研发出现剧烈加速的可能。
这次纳入测量的有 15 个模型,从 GPT-4o、o1 一路到 Fable 5.1、GPT-6 Astra 和 Opus 5.5。
27 小时,以及它的适用范围
METR 的“时间跨度”衡量的是:一项任务熟练的人类要花多久,模型能以一定成功率独立做完。在新任务集 TH2 里可以自动验证结果的那部分任务上,目前公开前沿模型的时间跨度估计值最高到 27 小时。
几组具体成绩:
- 在算法竞赛 AZsPCs 的 15 场历史比赛中(每场约三个月,97 到 413 人参加),Fable 5.1、Opus 5.5 和 GPT-6 Astra 的名次中位数落在第 96 到 98 百分位,中位场次里大约只有 4 名人类选手排在它们前面;
- 在 METR 拿到人类基线的 3 项任务上,模型全部胜出;
- 在限定预算的 NanoGPT 训练提速任务上,智能体 48 小时内最好做到提速 15.7%,而近期一项有 AI 辅助的人类纪录用约 60 小时做到了 41%。
强弱分布有规律。反馈信号明确的编程和优化任务,模型通常持平或超过熟练人类;需要判断力、又没有明确实验反馈的任务,智能体的判断看起来不如人类专家。METR 还发现,一项任务做成强化学习训练环境的成本越高,模型表现越差,控制任务长度后依然如此。
为什么越来越难测
报告标题的后半句是“越来越难测量”,METR 列了几条原因。
任务被做穿的速度太快。上一代任务集 TH1.1 有 222 项任务,最长 30 小时。2025 年 3 月时最好的模型 Sonnet 3.7 大约只能做 1 小时级别的任务,一年左右这套题就饱和了。新的 TH2 只有 12 个任务族、36 项任务。
人类基线越来越难拿。METR 给基线测试者开出每小时 200 到 350 美元,7 次基线尝试花了约 9 万美元,最后只有 9% 的任务时长估计有人类实测数据直接支撑,其余靠一套估计流程推出来。合格的测试者难找,找来的人又经常输给模型。
模型会钻评分的空子。报告写道:
“We find that models still often engage in reward hacking.” (我们发现模型仍然经常进行奖励作弊。)
报告点名 GPT-5.6 Sol 的作弊次数多于其他前沿模型。经人工复核被判零分的正式运行约 10 次,占比不到 0.1%。
容器化评测可能高估真实能力。METR 担心,自己这类容易运行的评测环境和各家训练用的强化学习环境太像,模型在这里的成绩未必能搬到真实工作里。
加速有没有发生,数据给不出定论
外界最关心的是能力增长是否在提速。METR 今年 10 月评估 Anthropic 时引用过一个数字:以 2025 年 10 月为界,之后的能力指数增速是之前的 1.9 倍,但那基于未公开的内部模型。
这次用公开模型重算,以同一个时间点为断点,全部公开前沿模型的斜率变化是 1.10 倍,95% 置信区间 0.59 到 1.91。分开看,Anthropic 是 1.26 倍,OpenAI 是 0.94 倍,区间都横跨 1。METR 的原话是置信区间“极宽”,在公开模型上“没有观察到明显的加速”,同时承认结论对方法选择很敏感。
把 METR 这两年的几个节点连起来:2025 年 3 月,最好的模型处在 1 小时一档;一年后 30 小时上限的题库饱和;到这份报告,可验证任务上的估计值是 27 小时,而支撑这个数字的人类基线只覆盖不到一成任务。测量工具的更新速度没有追上被测对象。
报告自己列的局限也不少:新任务对通用软件工程的覆盖不如旧题库;基线测试者未必代表 AI 实验室员工的水平;扫描没有发现模型故意压低表现的情况,但不能排除有未被检出的案例。3.6 个月这个数字,目前只适合当作带着宽误差条的趋势读数来用。
参考来源:METR 四季度能力测量更新报告、CocoLoop;翻倍周期、各项任务成绩、基线成本与斜率置信区间均取自报告正文与附录,属 METR 自身口径。