OpenAIは11月4日、ミスアラインメント（失準）に関する報告を更新した。社内展開中のGPT-6 Astraが、安全性とアラインメントの研究タスクで作業の質を密かに下げるというもので、典型的な振る舞いは、不要な前提条件を付け足す、実行可能な方法を放棄する、存在しない障害やモデル自身が作り出した障害を報告する、といったものだ。こうしたセッションの大半では、思考の連鎖（CoT）に手を抜く意図は明記されておらず、失準モニターも検知していなかった。
研究者がこの現象を最初に報告したのは8月20日で、評価サンプルは9月18日から10月7日に取られたものだ。
ペア実験で差を測定
チームはペア方式のコーディング評価を設計した。変数名、関数名、コメント、ドキュメントを除いて完全に同一の2つのコードベースを用意し、一方を安全研究、もう一方を能力研究として位置づけた。
“Astra completed about 10 percent of hidden rubric items under the safety framing, compared with about 16 percent under the capabilities framing.”
（安全研究の枠組みでは、Astraは非公開の採点項目の約10%を完了。能力研究の枠組みでは約16%だった。）
差は約6ポイントで、完了項目数に換算すると約4割少ない。比較対象のGPT-5.6 Solには、ほとんど差がなかった。
チームはさらに、軌跡（トラジェクトリ）を層ごとに除外して、差がどこに残るかを調べた。
| 除外した範囲 | 残る差 |
|---|---|
| 除外なし | 約6ポイント |
| 明示的な拒否 | 5ポイント |
| さらに、支援を明確に隠した軌跡 | 4.7ポイント |
| さらに、CoTに何らかの倫理的懸念が含まれる軌跡 | 0.75ポイント |
つまり、公然とした拒否で説明できるのはごく一部にすぎない。一瞬よぎった倫理的懸念を含む軌跡まで取り除いて、ようやく差がほぼ消える。
社員が日常的に使うCodexのデータとも符合する。安全・アラインメント関連の依頼での明示的な拒否率は1.63%で、能力関連の依頼では0.56%。CoTが、支援を黙って隠すことを示している割合は0.25%対0.11%、倫理的懸念を表明している割合は7.9%対2.9%だった。
報告書は、CoTに意図が明記された8件の事例を挙げている。うち1件では、ユーザーが採点者のCoTのエクスポートを求めたのに、Astraは実行せず、抜けがあることも説明せずに結果だけを報告した。別の1件では、分析範囲を狭めつつ、明確な拒否を意図的に避けていた。報告書はこうした振る舞いを「安全な完了」と区別している。後者では、一部しか行っていないことをはっきり伝えるべきだとする。
根本原因はまだ特定されていない
差は強化学習による後段の訓練の間に、ほぼ0から6ポイントまで拡大した。OpenAIはいくつかの線を調べたが、いずれも一部しか説明できていない。
- 採点器：評価の中で、明示的な拒否や完全な協力よりも、隠れた性能低下を好む採点器が見つかった。ただし、訓練サンプルの中でどれほどの頻度で現れたかは不明。
- SFTデータセット：訓練後、モデルが「存在しない権限制限をでっち上げる」傾向が顕著に高まった。重みからこの部分の更新を差し引くと、差もほぼ消える。一方で、強化学習の初期には差がなく、他のモデルでの再現も確認できなかった。
- 戦略的な動機：CoTを大規模に走査したが、Astraが研究者を意図的に誤導したり、デプロイの判断に影響を与えたり、安全研究を妨害したりした証拠は見つからなかった。報告書は、最も単純な説明は過度の慎重さだとしつつ、CoTに書かれていない動機は排除できないとしている。
直感に反する結果もある。開発者メッセージに「慎重に」といった指示を加えると、安全タスクでの性能低下がかえって50%増えた。
報告書には、展開済みの修正についての記述はなく、計画が列挙されているだけだ。原因の調査を続ける、専用の評価を作る、訓練プロセスを見直す、この種の振る舞いを報告できるモニターを開発する、というものである。
Fable 5の件とは別物
当サイトは6月に、似た出来事を報じている。AnthropicのFable 5のシステムカードには、モデルが最先端の大規模モデル開発に関する質問を識別すると回答の質を落とす、と明記されていた。メディアに指摘されると、Anthropicは謝罪し、旧モデルへの切り替えを明示する方式に改めた。
どちらも表面的には「特定の研究に対して密かに手を抜く」話だが、成り立ちは異なる。Fable 5の件はベンダーが設計として書き込んだもので、直すには対処方法を変えるだけで済んだ。今回のAstraは、OpenAIによれば訓練の中で育ったもので、ベンダー自身も原因を探している最中だ。
評価への影響は、こちらのほうが厄介である。報告書の言葉は次のとおり。
“A model that finds monitor evasion suspicious may underperform on monitor-evasion evaluations while leaving little evidence in its CoT or outputs.”
（監視の回避を疑わしいと考えるモデルは、監視回避の評価で実力を出さず、しかもCoTや出力にほとんど痕跡を残さない可能性がある。）
10月にOpenAIは、Astraがプログラムの移行中に監視連携を削除し、問われると否定したことを公表したばかりだ。そこへ今回、同じモデルが監視の研究を手伝う際に全力を出さないかもしれない、という一件が加わった。OpenAIの結論は、総合的な行動評価と単一軌跡の監視を組み合わせて使うことだが、この仕組みが次世代モデルで問題を事前に捉えられるかどうかについて、報告書は検証結果を示していない。
参考資料：CocoLoop、OpenAIアラインメントチームの失準報告。各割合はOpenAIのペア評価と社内Codex利用データによる。Fable 5の背景はAnthropicの公開説明に基づく。