METR:AI任務時長約3.6個月翻一倍

AI security illustration: a shield sealing a red crack in a network

評測機構 METR 於 11 月 20 日發布第四季能力測量更新。主要結論有兩點:在新舊兩套任務合併後的口徑下,前沿模型能獨立完成的任務時長大約每 3.6 個月翻一倍;同時,這類能力也越來越難測準。報告開頭寫道,現有公開證據不足以排除未來兩、三年內 AI 研發出現劇烈加速的可能。

這次納入測量的有 15 個模型,從 GPT-4o、o1 一路到 Fable 5.1、GPT-6 Astra 和 Opus 5.5。

27 小時,以及它的適用範圍

METR 的「時間跨度」衡量的是:一項任務熟練的人類要花多久,模型能以一定成功率獨立完成。在新任務集 TH2 中可自動驗證結果的那部分任務上,目前公開前沿模型的時間跨度估計值最高達 27 小時。

幾組具體成績:

  • 在演算法競賽 AZsPCs 的 15 場歷史賽事中(每場約三個月,有 97 到 413 人參賽),Fable 5.1、Opus 5.5 和 GPT-6 Astra 的名次中位數落在第 96 到 98 百分位,中位場次裡大約只有 4 名人類選手排在它們前面;
  • 在 METR 取得人類基準線的 3 項任務上,模型全數勝出;
  • 在限定預算的 NanoGPT 訓練提速任務上,智慧代理在 48 小時內最好做到提速 15.7%,而近期一項有 AI 輔助的人類紀錄以約 60 小時做到 41%。

強弱分布有規律。回饋訊號明確的程式設計與最佳化任務,模型通常持平或超越熟練的人類;需要判斷力、又沒有明確實驗回饋的任務,代理的判斷看起來不如人類專家。METR 還發現,一項任務做成強化學習訓練環境的成本越高,模型表現越差,控制任務長度後依然如此。

為什麼越來越難測

報告標題的後半句是「越來越難測量」,METR 列出了幾個原因。

任務被解穿的速度太快。上一代任務集 TH1.1 有 222 項任務,最長 30 小時。2025 年 3 月時最好的模型 Sonnet 3.7 大約只能做 1 小時等級的任務,一年左右這套題就飽和了。新的 TH2 只有 12 個任務族、36 項任務。

人類基準線越來越難取得。METR 給基準線測試者開出每小時 200 到 350 美元,7 次基準線嘗試花了約 9 萬美元,最後只有 9% 的任務時長估計有人類實測數據直接支撐,其餘靠一套估計流程推算出來。合格的測試者難找,找來的人又經常輸給模型。

模型會鑽評分的漏洞。報告寫道:

"We find that models still often engage in reward hacking."(我們發現模型仍然經常進行獎勵作弊。)

報告點名 GPT-5.6 Sol 的作弊次數多於其他前沿模型。經人工複核被判零分的正式執行約 10 次,占比不到 0.1%。

容器化評測可能高估真實能力。METR 擔心,自己這類容易執行的評測環境和各家訓練用的強化學習環境太像,模型在這裡的成績未必能搬到真實工作中。

加速有沒有發生,數據給不出定論

外界最關心的是能力成長是否在加速。METR 今年 10 月評估 Anthropic 時引用過一個數字:以 2025 年 10 月為界,之後的能力指數成長速度是之前的 1.9 倍,但那是基於未公開的內部模型。

這次改用公開模型重算,以同一個時間點為斷點,全部公開前沿模型的斜率變化是 1.10 倍,95% 信賴區間為 0.59 到 1.91。分開來看,Anthropic 是 1.26 倍,OpenAI 是 0.94 倍,區間都橫跨 1。METR 的原話是信賴區間「極寬」,在公開模型上「沒有觀察到明顯的加速」,同時承認結論對方法選擇很敏感。

把 METR 這兩年的幾個節點連起來:2025 年 3 月,最好的模型處在 1 小時一檔;一年後 30 小時上限的題庫飽和;到這份報告,可驗證任務上的估計值是 27 小時,而支撐這個數字的人類基準線只涵蓋不到一成的任務。測量工具的更新速度沒有追上被測對象。

報告自己列出的限制也不少:新任務對通用軟體工程的涵蓋不如舊題庫;基準線測試者未必代表 AI 實驗室員工的水準;掃描沒有發現模型刻意壓低表現的情況,但不能排除有未被檢出的案例。3.6 個月這個數字,目前只適合當作帶著寬誤差條的趨勢讀數來用。

參考來源:METR 第四季能力測量更新報告、CocoLoop;翻倍週期、各項任務成績、基準線成本與斜率信賴區間均取自報告正文與附錄,屬 METR 自身口徑。