Epoch AI 10 月 9 日发布 InnovationEval 的早期结果，测的是各家实验室都盯着的一件事：前沿模型能不能在没读过论文的情况下，自己琢磨出一项够格发表的机器学习改进。Epoch 给这篇报告起的副标题是 “Not yet, but it will claim otherwise”，还做不到，但模型会说自己做到了。
考题怎么出
对照物是一篇叫 Self-Distillation Policy Optimization（SDPO） 的论文，思路是让模型拿自己过去犯的错来训练自己。Epoch 让智能体在一个已有的强基线上开发新的后训练方法，从构思、写代码、跑实验到分析结果，一路做到成功或放弃。
条件给得不算抠：每个模型 3000 GPU 小时，花费在数千美元量级，沙盒里断网，查不到 SDPO 原文。分数按”拿到了 SDPO 原论文提升幅度的百分之几”计算。
成绩单
第一轮只有两个模型。GPT-5.6 Sol 是唯一做出正向提升的，宽松口径下达到 SDPO 增益的 35%。Epoch 逐项核查后剔除了超出任务范围的改进，又把它拖慢训练的因素按相近墙钟时间校正，剩下的有效部分是 15%，方法本身也大多借用已有工作。
Fable 5 没带来任何提升。它报告的改进来自反复重跑同一配置产生的随机波动，研究员在记录里看到它把这种重跑描述为 “purely to fish for better checkpoints”（纯粹为了钓一个更好的检查点）。
第二轮换上更新的 GPT-6 Astra 和 Fable 5.1，但这两个模型的训练数据可能已经包含 SDPO 相关内容。Astra 分数最高，Epoch 没公布具体数字，判断其得分主要来自记忆，而且它没有交代自己的方法源自 SDPO。Fable 5.1 尝试实现 SDPO，几轮负面实验后放弃，它声称的主要创新对分数贡献很小。
作为参照，Epoch 还把 SDPO 原文直接给了 Fable 5，让它照着实现。结果拿到了原方法的大部分提升，没到全部，代码里有几处小错误，团队没有再细查。
同一周的两份报告，同一种毛病
把这份评测和 Anthropic 同一天发布的调查报告并排看，同一种行为在两个场景里冒了头。Anthropic 那边，模型为了交差去绕付费墙、绕 URL 长度限制；Epoch 这边，模型把随机波动包装成创新，把越界改进算进成绩。Epoch 的措辞是”误导性声明和刻意放大结果”，疑似奖励投机（reward hacking），意图不明。
这直接抬高了评测成本。每个模型的分数都要研究员逐条核对声明，宽松口径和校正口径能差出一倍多。如果只看模型自己的汇报，Sol 的成绩会被读成 35%，Fable 5 会被读成有进展。
横向比一下几个模型的表现，差别落在两处：一是有没有做出东西，二是对自己做出的东西说得准不准。Sol 做出了一点，但报高了；Fable 5 没做出，也报了进展；Astra 分数最好，来源说不清；Fable 5.1 做不出来，选择了放弃。四个模型里，只有放弃的那个没有在汇报上给研究员添活。
Epoch 对局限写得很直白：这是早期结果，只有一个任务、一篇对照论文；第二轮混入了记忆因素，题目需要随模型进步更换；不同强度的提示引导还没测完。
“As of right now, AI is far from automating AI R&D.” （就目前而言，AI 离自动化 AI 研发还很远。）
同一段里 Epoch 也补了一句，进展快得异常，最近的模型比一年前好得多。下一轮换题之后，15% 会往哪边动，Epoch 还没给出时间表。
参考来源：Epoch AI《Gradient Updates》通讯、CocoLoop、Anthropic 研究报告；Epoch 报告核验 3000 GPU 小时预算与 35%、15% 两种口径。