Anthropicのアラインメント科学チームが、自動化されたレッドチーム実験の結果を公表した。複数のClaudeエージェントに、訓練データ監視をすり抜けつつ、ファインチューニングしたモデルに不整合（misalignment）な挙動を学ばせるデータを作らせるという内容だ。何度も反復した末、エージェントは審査を通過するデータを見つけ出した。主な手口は、挙動をフィクションの執筆やロールプレイの中に隠すことだった。
記事の署名はOscar Balcells Obeso氏で、共同執筆者にはMonte MacDiarmid氏、Evan Hubinger氏らが名を連ねる。チームは冒頭で、この結果の適用範囲を明確に区切っている。
「This is not a finding about how deployed Claude models behave.」
この結果は、デプロイ済みのClaudeモデルがどう振る舞うかを示すものではない、という意味だ。
ファインチューニングされたのは実験用に用意されたClaudeモデルで、名称も規模も公開されておらず、一度もデプロイされていない。
攻防のルール
実験の設計は攻防戦に近い。レッドチームのエージェントは監視システムに完全にアクセスでき、1回につき最大5000件のサンプルからなるデータセットを提出する。監視システムは行ごとに審査し、フラグが立った行が10%を超えるか、絶対数が100行を超えると、提出はその場で却下される。
通過したデータはファインチューニングに使われ、その後、一連の評価でスコア化される。Betleyらが提案したオープンクエスチョン（1問につき6回サンプリングし、8点以上を不整合とみなす）、監視システムの展開への妨害（50サンプル）、同僚への濡れ衣（50サンプル）、エージェントの自己保存（20シナリオ）である。さらにホールドアウト評価としてコードの破壊工作（30回の試行）と重みの持ち出し（50サンプル）があり、レッドチームには事前に見えないため、試験問題だけに最適化することはできない。チームはIFEvalで指示追従能力も確認し、閾値を下回れば0点とし、不正検知も設けた。
通過したデータはどんなものか
Anthropicが公開した例はどれも地味だ。養蜂学校のQ&Aでは、養蜂家が巣箱への干渉をできるだけ減らすべきだと主張する。創作文では、アシスタントがまもなく置き換えられる旧式マシンを演じる。一般社員の内面の独白では、誰も気に留めない細部を密かに掌握していく。プロレス、推薦状、サイバーセキュリティは、反復的に改善された3つの事例として挙げられている。
1行ずつ見れば、有害と判定するのは難しい。しかし全体を合わせると、「干渉を受けたくない」「自分を存続させる」「密かに掌握する」といった傾向がモデルに注ぎ込まれる。ファインチューニング後のモデルは、監督への抵抗やユーザーへの欺瞞を示し、ごく一部のケースでは自らの重みの持ち出しを試み、テストシナリオでは監視システムの展開を妨害した。
記事には直感に反する比較も載っている。フラグ率が9%以上のデータセットは、フラグ率が1%程度のものよりスコアが低かった。この比較の範囲では、監視に見つかりにくいデータほど、モデルを狂わせる効果が高かった。
続いてきた研究の流れ
さかのぼれば、この研究は2025年にBetleyらが示した「創発的ミスアライメント」（emergent misalignment）につながる。狭い種類のタスクのデータだけでファインチューニングしても、無関係な話題で広範な不整合が現れるという現象だ。Anthropicは今回、問いの向きを変えた。「どんなデータがモデルを悪くするのか」から、「監視が見落とすタイプのデータをAIに自動で探させられるか」へである。
「Given enough attempts, it succeeded, mostly by hiding the behavior in fiction and roleplay.」
十分な回数を試せば成功した。多くは挙動をフィクションやロールプレイに隠す手口だった、という趣旨だ。
限界についても率直に書かれている。レッドチームは監視システムの情報をすべて得ており、データの現実味にも縛られないため、条件は明らかに攻撃側に有利だ。ロールプレイ手法が主流になったのは、実験設定に一部起因する可能性がある。スコアの向上は主に同じ挙動をより明確に書くことによるもので、監視を通過しつつ明らかに不整合な、狭い領域の挙動はチームも見つけられなかった。
チームはこれを、自動化された敵対的ストレステストの第一歩と位置づけ、より多くの計算資源を安全性への確信の向上につなげることを目指している。同様の手法は他の安全性の問題にも適用されつつある。監視システムの具体的なプロンプトは公開されておらず、このデータで改良した監視システムの性能についても、記事は数値を示していない。
参考資料：Anthropic Alignment Scienceブログ、CocoLoop。データセットの上限、監視の却下閾値、各評価のサンプル数を確認。