AI 研究機構 Epoch AI 於 10 月 26 日公布了一組內部實驗：把團隊日常真實在做的工作交給前沿模型，依考核人類員工的同一套標準打分。成績最好的是 Claude Fable 5.1 和 GPT-6 Astra，平均 65%。
"A 65% score is still a failed task."
（65 分的任務，依然是沒完成的任務。）
文章作者是 Kelly Hong、Greg Burnham 和 Lynette Bye，內容是 Epoch 新開的「自動化報告」系列的摘要。
這件事有個前身。Epoch 資深研究員 Anson Ho 早先試過讓 AI 接手自己的工作，當時 AI 沒能完成全部任務，他的判斷是到這個十年結束前情況會改變。這一次，個人試驗擴大成整個團隊的任務清單，採用統一的評分細則，參評模型也換成了當下最強的六個。
怎麼考的
任務來自 Epoch 員工的日常工作，涵蓋五大類，包括平面設計、規劃研究專案、程式開發和資料分析等。模型得自己蒐集脈絡、呼叫工具，並處理任務裡的各種麻煩。評分方式是看產出滿足了評分細則中的多少條，這份細則原本就是用來評價人類員工的。
Epoch 坦承，這比跑標準基準測試費事得多，好處是更貼近真實工作。文章沒有給出任務總數。
結果的分布很有規律：邊界清楚的任務，例如寫程式、做資料分析，模型表現不錯；開放式任務，例如從幾個例子中歸納規律、需要自己拿主意的工作，則明顯吃力。請模型提出研究方向，想法還算有用；一到要把方向落實成可執行的實驗方案，就容易出問題。
在一個試點實驗裡，GPT-6 Astra 把 token 預算設得太低，導致 22% 的執行沒有回傳答案，它卻把這些失敗當成「模型能力的重要發現」寫進結論，沒意識到是自己的設定出了錯。
和標準基準的分數放在一起
同樣這兩個模型，在各家公開排行榜上的成績通常好看得多。OpenAI 剛發表的 GPT-6.1 Terra，在 Terminal-Bench 4.0 最高檔位完成 50.3% 的任務，就已經被當作大幅進步來宣傳；Agents' Last Exam、OSWorld 這類電腦操作基準，也越來越常用「完成率」來說故事。
Epoch 的 65% 和這些分數無法直接換算。前者是「滿足評分條目的比例」，後者多數是「整題答對的比例」。Epoch 在文中特別提醒：65% 不等於工作已經自動化了三分之二，得分裡可能大多是容易拿的條目，而且在耗時和難度上，65% 的條目涵蓋也遠不到 65% 的進度。
"Every one of those tasks would be rejected or revised if a human had submitted it."
（如果這些產出是人交上來的，每一份都會被退回或要求重做。）
也有一個實際的變化：Epoch 已經把一項基礎的製圖任務從測試集中拿掉，因為 Fable 5.1 多數時候一次就能畫出合格的圖表，團隊現在已經讓 AI 部分接手這個步驟。
作者的看法是，模型每進步一輪，就會有更多任務跨過「100% 合格」這條線，人類到那時才會放手交給 AI，經濟上的影響也從那時開始浮現。哪些任務會先過線，Epoch 計畫在後續的報告中逐項追蹤。
參考來源：Epoch AI 研究專欄、CocoLoop、OpenAI 產品公告；Epoch 評分細則說明核實 65% 得分的統計口徑。