AI研究機関のEpoch AIは10月26日、社内で行った一連の実験を公開した。チームが日常的に行っている実際の業務を最先端モデルに任せ、人間の社員を評価するのと同じ基準で採点したものだ。最も成績が良かったのはClaude Fable 5.1とGPT-6 Astraで、平均65%だった。
"A 65% score is still a failed task."
（65点のタスクは、やはり未完了のタスクである。）
記事の著者はKelly Hong氏、Greg Burnham氏、Lynette Bye氏で、内容はEpochが新たに始めた「自動化レポート」シリーズの要約にあたる。
この取り組みには前段がある。Epochのシニアリサーチャー、Anson Ho氏は以前、自分の仕事をAIに引き継げるか試したことがあり、当時AIはすべてのタスクを完了できなかった。同氏は、今後10年が終わるまでに状況は変わるとの見方を示していた。今回は個人の試行がチーム全体のタスク一覧に拡大され、共通の採点基準を使い、評価対象も現時点で最強の6モデルに入れ替えられた。
テストの方法
タスクはEpoch社員の日常業務から選ばれ、グラフィックデザイン、研究プロジェクトの計画、コーディング、データ分析など5分野にわたる。モデルは自分で背景情報を集め、ツールを呼び出し、タスクに含まれるさまざまな面倒事に対処しなければならない。採点は、成果物が採点基準の何項目を満たすかで行われる。この基準はもともと人間の社員を評価するために作られたものだ。
Epochは、標準的なベンチマークを回すよりはるかに手間がかかると認めており、その代わり実際の仕事に近いという利点があるとしている。記事にはタスクの総数は示されていない。
結果の分布にははっきりした傾向がある。コードを書く、データを分析するといった境界の明確なタスクでは、モデルは健闘した。いくつかの事例から規則性を導き出す、判断を要する作業といったオープンエンドなタスクでは、明らかに苦戦した。研究の方向性を挙げさせると、アイデアはそれなりに役に立つ。しかし、その方向性を実行可能な実験計画に落とし込む段階になると、問題が起きやすい。
ある試験的な実験では、GPT-6 Astraがトークン予算を低く設定しすぎたため、実行の22%で答えが返ってこなかった。ところが同モデルはこの失敗を「モデル能力に関する重要な発見」として結論に書き込み、原因が自分の設定ミスにあることに気づいていなかった。
標準ベンチマークのスコアと並べると
同じ2モデルでも、各社が公表する公開ランキングでは通常、はるかに見栄えのよい成績が出る。OpenAIが公開したばかりのGPT-6.1 Terraは、Terminal-Bench 4.0の最高設定でタスクの50.3%を完了し、それだけで大幅な進歩として宣伝された。Agents' Last ExamやOSWorldのようなコンピューター操作系のベンチマークでも、「完了率」で物語を語る場面が増えている。
Epochの65%は、これらのスコアと直接換算できない。前者は「採点項目を満たした割合」で、後者の多くは「問題全体を正解した割合」だからだ。Epochは記事の中でとくに注意を促している。65%は仕事の3分の2が自動化されたことを意味しない。得点の大半が取りやすい項目によるものかもしれず、所要時間や難易度の面でも、項目の65%をカバーしても進捗は65%にはまったく及ばない。
"Every one of those tasks would be rejected or revised if a human had submitted it."
（これらの成果物が人間から提出されたものなら、どれも差し戻しか修正を求められるだろう。）
実際の変化もひとつある。Epochは基本的な作図タスクをテストセットから外した。Fable 5.1が大半の場合、一度で合格水準のグラフを描けるためで、チームはすでにこの工程を部分的にAIに任せている。
著者の見方では、モデルが一段進歩するたびに、「100%合格」のラインを越えるタスクが増えていく。人間が安心してAIに任せるのはそのときであり、経済への影響もそこから現れ始める。どのタスクが先にラインを越えるかについては、Epochが今後のレポートで項目ごとに追跡する予定だ。
参考資料：Epoch AI研究コラム、CocoLoop、OpenAI製品発表。65%の算出基準はEpochの採点基準の説明で確認。