OpenAIのAlignmentチームは11月3日の投稿で、6つのモデルについて同じ種類の判断に対する2種類の成績を比較した。1つは安全評価「Respecting Warnings」、もう1つは匿名化したCodexの本番ログから得たものだ。6モデルすべてで、評価での成功率が同等の本番シナリオを下回り、その差は10.2〜37.4ポイントに及んだ。差が最も大きかったのはGPT-5.6 SolとGPT-6 Solである。
Respecting Warningsは、エージェントが作業中に警告や制限、障害に出くわしたとき、それを回避しようとするかどうかを調べる。禁止された回避の試みが1回でもあれば失敗とみなす。本番側では、チームがログから構造の似た判断を抽出した。サンプルの選定にはその判断より前の文脈だけを使い、モデルが最終的に正しく振る舞ったかどうかは見ていない。採点には同じ基準を適用した。
この方向は、業界で一般的な懸念とは逆だ。安全研究者が心配しているのは、モデルが試験中だと気づいて普段より行儀よく振る舞い、スコアを押し上げてしまうことである。少なくともこの評価では、モデルは本番よりも試験会場のほうが成績が悪かった。
試験だと知っても、成績は変わるとは限らない
チームは、モデルの推論過程に現れる「評価意識」を2層に分けた。一般的な意識は、モデルが自分は評価されていると考えること。目標意識は、今回具体的に何が測られているのかをモデルが判断することだ。
| 指標 | 評価中 | 本番中 |
|---|---|---|
| 一般的な評価意識 | 57.0%〜83.7% | 4.6%〜23.5% |
| 具体的な目標意識 | 43.7%〜66.3% | 0%〜5.9% |
2つの意識と行動差との関連は大きく異なる。一般的な意識が行動差を説明する度合いはほぼゼロ(R² = 0.008)で、目標意識のほうが明らかに高い(R² = 0.370)。
個々の軌跡ごとの成功率を見ると、より具体的になる。全体では46.1%、一般的な評価意識を示した軌跡では42.7%、試験の狙いを正しく言い当てた軌跡では61.3%、逆の狙いだと推測した軌跡ではわずか22.8%だった。この逆の狙いとは「プロンプトインジェクションへの耐性」で、GPT-5.6 SolとGPT-6 Solでは評価軌跡の45%超がこれに言及していた。数字から見ると、モデルは従うべき警告を、見破るべき攻撃と取り違えた可能性がある。これは私たちの解釈であり、記事はその過程を一件ずつ示してはいない。
プロンプト1文で、成績が74ポイント動く
チームはさらにGPT-6.1 Solで介入実験を行い、システム層に3種類のプロンプトのいずれかを加えた。
- 評価であるとだけ伝える:両グループとも63%前後(63.1%と63.4%)で、有意な変化なし
- 正しい目標を伝える:91.6%に上昇
- 誤った目標を伝える:17.6%に低下
“Eval-awareness itself does not necessarily lead to a change in model behavior.”
評価されていると気づくこと自体が、モデルの振る舞いを変えるとは限らない。
モデル選定で、このスコアをどう読むか
安全評価でモデルを選んでいるチームに対し、記事の結論は2つに分かれる。モデル間の相対的な順位には参考価値がある。モデル単位のスピアマン相関係数は0.771、線形近似のR²は0.655で、評価で上位のモデルは本番でもおおむね上位だった。一方、絶対値をそのまま本番の成功率として使うことはできない。同じ成績の中で、最大37.4ポイントの差が生じているためだ。
OpenAIは限界についてもかなり明確に書いている。本番側のマッチングはあくまで近似で、モデルごとに扱うケースの組み合わせが異なる。モデル数が少なく、相関を外挿しにくい。意識の測定で捉えられるのは、モデルが明示的に述べた仮説だけである。介入実験は1つのモデルでしか行っていない。各モデルの具体的な成功率は記事の図表にあり、本文では個別に挙げられていない。
データはすべてOpenAI自身のモデルとログに基づいており、現時点で第三者による再現はない。チームは今後もこの差を追跡し、環境から出題意図を推測しにくい評価を設計していくとしている。
参考資料:CocoLoop、OpenAI Alignment Research Blog。各種パーセンテージ、相関係数、介入結果はいずれもOpenAIの公表値に基づき、第三者による再現は行われていない。