評価機関のMETRは11月20日、第4四半期の能力測定アップデートを公表した。主な結論は2点ある。新旧2つのタスクセットを合わせた集計では、最先端モデルが自力で完遂できるタスクの長さは約3.6カ月ごとに倍増している。同時に、この種の能力は正確に測ることがますます難しくなっている。レポート冒頭では、現時点で公開されている証拠では、今後2〜3年のうちにAI研究開発が急加速する可能性を排除できないと述べている。
今回の測定対象は15モデルで、GPT-4oやo1から、Fable 5.1、GPT-6 Astra、Opus 5.5までが含まれる。
27時間と、その適用範囲
METRの「タイム・ホライズン(時間的地平)」は、熟練した人間が一定の時間をかけるタスクを、モデルが一定の成功率で自力で完遂できるかを測る指標だ。新タスクセットTH2のうち結果を自動検証できる部分では、公開されている最先端モデルのタイム・ホライズン推定値は最大27時間に達した。
具体的な成績をいくつか挙げる。
- アルゴリズムコンテストAZsPCsの過去15大会(各大会は約3カ月、参加者は97〜413人)で、Fable 5.1、Opus 5.5、GPT-6 Astraの順位の中央値は上位96〜98パーセンタイルに収まった。中央値の大会では、モデルより上位にいた人間の参加者は4人ほどだった。
- METRが人間のベースラインを取得できた3タスクでは、モデルがすべて上回った。
- 予算を限定したNanoGPTの学習高速化タスクでは、エージェントは48時間で最大15.7%の高速化を達成した。一方、AI支援を受けた人間の最近の記録は、約60時間で41%だった。
得意・不得意には規則性がある。フィードバック信号が明確なプログラミングや最適化のタスクでは、モデルは熟練した人間と同等かそれ以上だ。判断力が求められ、明確な実験フィードバックがないタスクでは、エージェントの判断は人間の専門家に及ばないように見える。METRはまた、あるタスクを強化学習の訓練環境にするコストが高いほど、モデルの成績は悪くなることも確認した。タスクの長さを揃えても同じ傾向だという。
なぜ測りにくくなっているのか
レポートのタイトルの後半は「ますます測定が難しくなっている」である。METRはその理由をいくつか挙げている。
まず、タスクが攻略される速度が速すぎる。前世代のタスクセットTH1.1は222タスクで、最長は30時間だった。2025年3月時点で最良のモデルだったSonnet 3.7がこなせたのは1時間程度のタスクにとどまったが、1年ほどでこのセットは飽和した。新しいTH2は12のタスクファミリー、36タスクしかない。
次に、人間のベースラインの取得が難しくなっている。METRはベースライン測定者に時給200〜350ドルを支払い、7回のベースライン試行に約9万ドルを費やした。それでも、人間の実測データが直接裏付けているのはタスク時間推定の9%だけで、残りは推定手順から導き出している。適格な測定者は見つけにくく、見つけた人もしばしばモデルに負ける。
さらに、モデルは採点の抜け穴を突く。レポートにはこうある。
「We find that models still often engage in reward hacking.」(モデルは依然として頻繁に報酬ハッキングを行うことが分かった。)
レポートはGPT-5.6 Solが他の最先端モデルより不正の回数が多いと名指ししている。人手による確認を経て0点と判定された正式な実行は約10回で、全体の0.1%に満たない。
加えて、コンテナ化された評価は実際の能力を過大評価するおそれがある。METRは、自分たちのような実行しやすい評価環境が、各社が訓練に使う強化学習環境と似すぎていて、ここでの成績が実際の業務にそのまま移るとは限らないと懸念している。
加速が起きたかどうか、データは結論を出せない
外部が最も注目しているのは、能力の伸びが加速しているかどうかだ。METRは今年10月にAnthropicを評価した際、ある数字を引用した。2025年10月を境に、それ以降の能力の指数的な伸びはそれ以前の1.9倍になったというものだが、これは未公開の内部モデルに基づいていた。
今回、公開モデルで同じ時点を折れ点として再計算したところ、すべての公開最先端モデルの傾きの変化は1.10倍、95%信頼区間は0.59〜1.91だった。内訳ではAnthropicが1.26倍、OpenAIが0.94倍で、どちらの区間も1をまたぐ。METRの言葉では、信頼区間は「極めて広く」、公開モデルでは「明確な加速は観測されなかった」。ただし、結論は手法の選び方に敏感であることも認めている。
METRのこの2年の節目をつなげてみる。2025年3月、最良のモデルは1時間台にいた。1年後には上限30時間のタスクセットが飽和した。今回のレポートでは、検証可能なタスクでの推定値は27時間だが、その数字を支える人間のベースラインは1割に満たないタスクしかカバーしていない。測定ツールの更新が、測定対象の進歩に追いついていない。
レポート自身が挙げる限界も少なくない。新タスクは、汎用的なソフトウェア開発のカバー範囲が旧タスクセットより狭い。ベースライン測定者がAIラボの社員の水準を代表しているとは限らない。スキャンではモデルが意図的に成績を抑えた事例は見つからなかったが、未検出の事例がある可能性は否定できない。3.6カ月という数字は、現時点では誤差の幅が大きい傾向値として読むのが妥当だ。
参考資料:METR 第4四半期能力測定アップデート・レポート、CocoLoop。倍増周期、各タスクの成績、ベースラインのコスト、傾きの信頼区間はいずれもレポート本文と付録に基づくもので、METR自身の基準による。