OpenAI は 7 月 29 日、ARC-AGI-3 に関する技術メモを公開した。同じ GPT-5.6 Sol が公式 harness では公開セット 13.3%、推論保持と compaction を有効にした Responses API harness では 38.3% を記録した。出力 token は約 6 分の 1 に減った。
伸びたのは記憶の層
ARC-AGI-3 は、説明のない 2D ターン制ゲームでエージェントの探索、目標推定、計画を測る。OpenAI は、公式 harness が各アクション後に私的推論を捨て、175,000 文字を超えると古い文脈を rolling truncation で削る点に注目した。
OpenAI は “Benchmarks rarely measure AI models in isolation.” と書いた。つまり、ベンチマークはモデル単体だけでなく、API 設定、文脈管理、harness 設計も測っている。推論保持は前の計画を残し、compaction は長い実行で古い観察を圧縮して残す。
数字には条件がある
13.3%、38.3%、人間平均の推定 48% は、いずれも ARC-AGI-3 公開タスクの RHAE だ。私有 leaderboard の成績でも通常の正答率でもない。ARC 論文は、公開時点で人間は環境を 100% 解け、前線 AI は 1% 未満だったと説明している。
開発者にとっての教訓は明確だ。長時間動く agent を評価するなら、本番と同じ記憶保持と文脈圧縮で測らなければ、モデル能力ではなく強制的な忘却を測ることになる。
評価はシステム設計になった
この結果は GPT-5.6 Sol が ARC-AGI-3 を解いた証明ではない。ARC の価値を消すものでもない。示したのは、agent 評価では周辺システムが測定対象の一部になるということだ。今後は ARC の比較規則、他社モデルでの再現、私有セットでの変化が確認点になる。
参考資料：OpenAI 研究、ARC Prize Foundation 論文、ARC 公式文書、CocoLoop、Hugging Face gameplay logs；ARC-AGI-3 RHAE の範囲、GPT-5.6 Sol の公式 harness 13.3% と Responses API harness 38.3%、公開タスクの人間推定 48%、出力 token 約 1/6、175k 文脈窓を確認。