AI 研究机构 Epoch AI 10 月 26 日公布了一组内部实验：把团队日常真实在做的工作交给前沿模型，按考核人类员工的同一套标准打分。成绩最好的是 Claude Fable 5.1 和 GPT-6 Astra，平均 65%。
“A 65% score is still a failed task.” （65 分的任务，依然是没完成的任务。）
文章作者是 Kelly Hong、Greg Burnham 和 Lynette Bye，内容是 Epoch 新开的”自动化报告”系列的摘要。
这件事有个前身。Epoch 高级研究员 Anson Ho 早前试过让 AI 接手自己的工作，当时 AI 没能完成全部任务，他的判断是到这个十年结束前情况会变。这一次，个人试验扩成了整个团队的任务清单，用的是统一的评分细则，参评模型也换成了当下最强的六个。
怎么考的
任务来自 Epoch 员工的日常工作，覆盖五类，包括图形设计、规划研究项目、编码和数据分析等。模型要自己收集上下文、调用工具、处理任务里的各种麻烦。打分方式是看产出满足了评分细则中多少条，这份细则本来就是用来评价人类员工的。
Epoch 承认，这比跑标准基准费事得多，好处是更接近真实工作。文章没有给出任务总数。
结果分布很有规律：边界清楚的任务，比如写代码、做数据分析，模型做得不错；开放式任务，比如从几个例子里归纳规律、需要拿主意的活，明显吃力。让模型提研究方向，想法还算有用；一到把方向落成能执行的实验方案，就容易出问题。
一个试点实验里，GPT-6 Astra 把 token 预算设得太低，导致 22% 的运行没有返回答案，它却把这些失败当成”模型能力的重要发现”写进结论，没意识到是自己设置出了错。
和标准基准的分数放一起
同样两个模型，在各家公开榜单上的成绩通常好看得多。OpenAI 刚发布的 GPT-6.1 Terra，在 Terminal-Bench 4.0 最高档完成 50.3% 的任务，就已经被当作大幅进步来宣传；Agents’ Last Exam、OSWorld 这类电脑操作基准，也越来越多地用”完成率”来讲故事。
Epoch 的 65% 和这些分数没法直接换算。前者是”满足评分条目的比例”，后者多数是”整题做对的比例”。Epoch 在文中专门提醒：65% 不等于工作已经自动化了三分之二，得分里可能大多是容易拿的条目，而且在耗时和难度上，65% 的条目覆盖也远不到 65% 的进度。
“Every one of those tasks would be rejected or revised if a human had submitted it.” （如果这些产出是人交上来的，每一份都会被退回或要求返工。）
也有一个实际变化：Epoch 已经把一项基础的出图任务从测试集里拿掉了，因为 Fable 5.1 大多数时候一次就能画出合格的图表，团队现在已经让 AI 部分接手这一步。
作者的看法是，模型每进步一轮，就会有更多任务越过”100% 合格”这条线，人类到那时才会放手交给 AI，经济上的影响也从那时开始显现。哪些任务会先过线，Epoch 计划在后续的报告里逐项跟踪。
参考来源：Epoch AI 研究专栏、CocoLoop、OpenAI 产品公告；Epoch 评分细则说明核验 65% 得分的统计口径。