Prime Intellectが規模の大きなベンチマークを公開した。18の最先端モデルにそれぞれAI研究を自力で進めさせ、完全自律の実験を合計153回実行したというものだ。各実験にはH200を8基割り当て、最長のものは8日間以上に及んだ。
課題はnanoGPTのオプティマイザーを競うスピードラン。Keller Jordan氏が始めたコミュニティ発の競技で、1億2400万パラメータのGPTを検証損失3.28未満まで訓練し、必要な学習ステップ数の少なさを競う。ルールは厳格で、触っていいのはオプティマイザー関連の部分のみ、ネット接続も禁止。残りはすべてモデル自身に委ねられる。与えられたツールは常駐のIPythonカーネルのみで、実験フローの構築からコード作成、検証の実行、自らの仮説の棄却まで、すべてを自力でこなす必要がある。
成績表
出発点は3290ステップ。人間側のコミュニティは数十人が数カ月かけて記録を2600ステップまで縮めており、その間にある690ステップこそが今回測ろうとしている差だ。
Fable 5は2726ステップを記録し、差の約82%を埋めた。Opus 5は2920ステップ、Kimi K3は2930ステップで足踏みし、両者とも差の半分ほどを埋めた形だ。GPT-5.6 Solは3042ステップ、GLM 5.3は有効な結果を出せなかった。
Opus 5とKimi K3の差はわずか10ステップ。ざっと計算すると全体の差の1.4%にすぎず、nanoGPT訓練自体が持つノイズやサンプリングのばらつきを考えれば、この順位に説明力はほとんどない。言い換えれば、数日にわたり自律的にタスクを進め続ける必要がある課題において、オープンモデルはすでにトップクラスのクローズドモデルに肩を並べている。実際、Kimi K3は上位3モデルに入った唯一のオープンモデルでもある。
差を分けたのは実行力
レポートはモデル間の違いを実行段階に帰している。どの実験を選ぶか、どこまで丁寧にやるか、ノイズを含む結果をどう解釈するか――そのひとつひとつの積み重ねが差を広げていく。
具体的には、成績の良いモデルは際どい結果が出た時点でまず3つの乱数シードで再検証し、安定性を確認してから本番の検証に進む傾向があった。判定を一度「効果なし」とした方向についても、後から改めてアブレーションをやり直すこともあった。中には自前の実験管理フローや小型シミュレーターを構築したモデルもあった。一方、成績の振るわなかったモデルは、存在しない改善をノイズの中に見出し、その誤った結論のまま突き進むケースが目立った。
この結論は、実務でチューニングをこなしてきた人には馴染み深いはずだ。パラメータ調整のハードルは論文を読み解けるかどうかではなく、怪しい好結果を3回繰り返して確かめる根気があるかどうかにある。
冷や水を浴びせるのは新規性の欠如
レポートには自虐的な一節がある。著者らは「新規性の乏しさに、またしても驚かされた」と述べている。153回の実験を通じて、勝ち上がった手法はいずれも既存のテクニック――プレコンディショニング、学習率スケジューリング、重み平均化――にとどまり、誰も試したことのない新手法を打ち出したモデルはひとつもなかった。
これは、最近盛り上がっているAIの自己改善をめぐる議論に、絶妙なタイミングで冷や水を浴びせる格好になった。実験をこなす能力と新手法を発案する能力は別物だ。前者はすでに8日間人手を介さず自動で回せるまでになっているが、今回のデータには後者の兆しはまったく見当たらない。
この結果はどこまで一般化できるか
留保条件は少なくない。nanoGPTのスピードラン自体がもともと分散の大きい課題であり、計算リソースの制約上、各モデルについて十分な回数の反復を取って平均化することもできなかった。著者ら自身も、結果のうちどこまでがこの特定タスクの設定によるもので、どこまでがモデルの真の実力を反映しているのか、切り分けられないと認めている。
単一タスク、単一領域、固定のharnessという条件下での結果であり、別の研究テーマに置き換えれば順位が入れ替わる可能性も否定できない。それでも、18のモデルを同じサンドボックスに入れて8日間走らせるという規模の公開比較実験はこれまでになかった。ばらつきをそのまま明るみに出しただけでも、互いに比較できない自己評価の寄せ集めよりはずっと価値がある。
参考資料：Prime Intellectの研究ブログおよび実験リポジトリ、CocoLoop、量子位（QbitAI）。各モデルのステップ数と基準値はnanoGPTスピードランのリーダーボードで確認済み。