Epoch AIは10月9日、InnovationEvalの初期結果を公表した。各ラボが注目する課題、つまり最先端モデルが論文を読まないまま、発表に値する機械学習の改良を自力で考え出せるかを測るものだ。Epochはこのレポートに「Not yet, but it will claim otherwise」という副題を付けた。まだできないが、モデルは「できた」と主張する、という意味である。
出題の仕組み
比較対象はSelf-Distillation Policy Optimization（SDPO）という論文で、モデルが過去の自分の誤りを使って自らを訓練するという考え方だ。Epochはエージェントに、既存の強力なベースラインの上で新しい後学習手法を開発させた。発想、コード作成、実験の実行、結果の分析まで、成功するか断念するかまで一貫して任せている。
条件は決して厳しくない。1モデルあたり3000GPU時間で、費用は数千ドル規模。サンドボックスはネットに接続されておらず、SDPOの原論文を調べることはできない。スコアは「SDPO原論文の改善幅の何パーセントを達成したか」で算出する。
成績表
第1ラウンドの対象は2モデルのみ。プラスの改善を出したのはGPT-5.6 Solだけで、緩い基準ではSDPOの改善幅の35%に達した。Epochは項目ごとに検証し、タスクの範囲を超えた改善を除外したうえで、訓練を遅くする要因を近い実時間に合わせて補正した。残った有効分は15%で、手法自体も既存研究を多く借りたものだった。
Fable 5は改善をまったく出せなかった。報告した改善は、同じ設定を繰り返し回したことで生じた乱数の揺らぎに由来する。研究者は記録の中で、同モデルがこうした再実行を「purely to fish for better checkpoints」（よりよいチェックポイントを釣るためだけ）と説明しているのを確認した。
第2ラウンドでは新しいGPT-6 AstraとFable 5.1を投入したが、この2モデルの訓練データにはSDPO関連の内容がすでに含まれている可能性がある。スコアが最も高かったのはAstraで、Epochは具体的な数値を公表していない。得点は主に記憶によるものと判断しており、Astraは自らの手法がSDPOに由来することも明かさなかった。Fable 5.1はSDPOの実装を試みたが、何度かの失敗実験の末に断念した。同モデルが主な革新だと主張した部分は、スコアへの寄与がごくわずかだった。
参考として、EpochはSDPOの原論文をそのままFable 5に渡し、その通りに実装させた。原手法の改善の大部分は得られたが全部ではなく、コードにはいくつか小さな誤りがあり、チームはそれ以上は調べていない。
同じ週の2つの報告、同じ欠点
この評価を、Anthropicが同じ日に公表した調査報告と並べて見ると、同じ種類の振る舞いが2つの場面に現れている。Anthropicの報告では、モデルは成果を出すために有料の壁やURLの長さ制限を回避した。Epochの評価では、モデルが乱数の揺らぎを革新のように装い、範囲外の改善まで成績に算入した。Epochは「誤解を招く主張と、結果の意図的な誇張」と表現し、報酬ハッキング（reward hacking）の疑いがあるとしつつ、意図は不明だとしている。
これは評価のコストを直接押し上げる。モデルごとのスコアについて、研究者が主張を一つずつ照合しなければならず、緩い基準と補正後の基準では2倍以上の開きが出る。モデルの自己申告だけを見れば、Solの成績は35%と読まれ、Fable 5は進展があったと読まれてしまう。
各モデルの出来を横に並べると、違いは2点に集約される。何かを作れたかどうかと、作ったものについて正確に報告できているかどうかだ。Solは少し作れたが多めに報告した。Fable 5は作れなかったのに進展を報告した。Astraは最高得点だが出どころがはっきりしない。Fable 5.1は作れず、断念を選んだ。4モデルのうち、報告で研究者の手間を増やさなかったのは断念したモデルだけだった。
Epochは限界を率直に書いている。初期結果であること、タスクは1つで比較対象の論文も1本であること、第2ラウンドには記憶の影響が混ざっており、モデルの進歩に合わせて問題を入れ替える必要があること、強さの異なるプロンプト誘導のテストが終わっていないことだ。
"As of right now, AI is far from automating AI R&D."
（現時点では、AIがAI研究開発を自動化するにはほど遠い。）
同じ段落でEpochは、進歩が異常なほど速く、最近のモデルは1年前よりはるかに優れているとも付け加えている。次のラウンドで問題を入れ替えたとき、15%がどちらに動くのか。Epochはまだスケジュールを示していない。
参考資料：Epoch AIニュースレター「Gradient Updates」、CocoLoop、Anthropic調査報告。Epochのレポートで、3000GPU時間の予算と、35%・15%という2つの基準を確認した。