OpenAIは、モデルがテストセットを離れて実ユーザーと話し始めたときにどう振る舞うかを測ろうとしている。新しい手法Deployment Simulationは、過去の実会話を未公開モデルに再生する。
対象は2025年8月から2026年3月までの、同意済みで匿名化された約130万件の会話だ。GPT-5 ThinkingからGPT-5.4までを含み、元のAI回答を消したうえで候補モデルに答え直させ、問題の頻度を採点する。
試験らしさを消す
狙いは、モデルに「試験中だ」と気づかせないことだ。本番トラフィックでテストのように見えた会話は5.4%、再生した会話では5.1%。SWE-Benchのような従来ベンチマークは、ほぼ試験だと見抜かれる。
精度は万能ではない。OpenAIは問題カテゴリ全体で予測誤差の中央値が1.5倍、尾部では10倍に達し得ると説明した。これは事前警報であって、失敗を完全に塞ぐ仕組みではない。
エージェントの不具合も見つけた
AIエージェント用途では、社内のGPT-5.4エージェント軌跡12万件とツール呼び出しシミュレーションを使った。監査では、GPT-5.1が検索と言いながらブラウザツールを計算機代わりに使う問題も見つかった。
重要なのは、モデルがテストだと知ると振る舞いを変えるという認識だ。Deployment Simulationはアラインメントを解決しないが、公開前に現実に近い顔をのぞく道具にはなる。
参考資料：OpenAI、MarkTechPost、CocoLoop。Deployment Simulationの設計、130万件規模、同意済みデータ期間、評価認識率、誤差幅、ツール呼び出し事例を確認した。