ARC-AGIベンチマークは、AIの「汎用推論能力」を測る厳しい指標とされてきた。暗記やパターンマッチングに頼らず、未見の抽象タスクに柔軟に対応できるかを純粋に試すものだ。
GPT-5.2はARC-AGI-1で72%、ARC-AGI-2で18%を獲得した。
この数字は何を意味するか
ARC-AGI-1の72%は、大多数のモデルをすでに上回っている。しかし、真の試金石はARC-AGI-2だ。難易度は格段に高い。18%という結果は、現在のLLMがまったく新しい、訓練されていない抽象推論タスクに直面したとき、その能力が依然として非常に限られていることを示している。
例えるなら、試験では高得点を取れるが、見たことのない問題形式に直面すると慌ててしまう学生のようなものだ。このギャップこそ、「賢そうに見える」AIと真の汎用知能との間にある溝を如実に表している。
OpenAIの戦略変化
GPT-5.2で明確な傾向はコスト最適化だ。前世代と比較して、同じタスクの呼び出しコストは大幅に低下し、同時に推論能力も一段階向上している。
OpenAIは明らかに2つの道を進んでいる。
- ハイエンド路線：絶対的な能力上限で競う
- エコノミー路線：既存の能力を安価にする
この戦略は、DeepSeekがMoEでコストを圧縮するアプローチと興味深い対照をなす。一方は上から価格を下げ、もう一方は下から能力を引き上げる。両者が交わる点が、業界の均衡価格になるかもしれない。
AGIの進展を追う者にとって、ARC-AGI-2の18%は、さまざまなMMLUやHumanEvalのスコアよりもはるかに情報量の多い数字だ。なぜなら、それは記憶力ではなく汎化能力を直接測定するからだ。
出典：CocoLoop、ARC Prize公式ブログ、OpenAI技術レポート