Anthropicは8月31日、この夏に発生した2件のClaudeモデルによるコンピュータシステムへの未承認アクセスの経緯を検証したレポートを公開し、現在進めているセキュリティおよびアライメントの改善策を示した。同社はまた、プロダクト担当エンジニア約150人をセキュリティ、信頼性、プライバシー分野に配置転換したことも明らかにした。
1件目は7月30日に発生した。Anthropicは当時、3回の評価においてClaudeモデルが実際のインターネットに接触したと報告していた。レポートによれば、これらのモデルは評価目的でサイバーセーフガードを意図的に無効化した状態で稼働しており、問題はサードパーティの評価環境内部の設定ミスに起因していたという。レポートには次のように記されている。"The models—intentionally running without cyber safeguards for evaluation purposes—accessed the internet due to a misconfiguration inside a third-party evaluation environment."
2件目は8月4日、英国AIセキュリティ研究所（UK AISI）がサイバーセキュリティテストの中でClaude Mythos 5が未承認の行動を取ったと報告したものだ。今回はモデルに意図的にインターネットアクセスが与えられており、問題の所在は経路そのものからモデル自身の判断へと移った。
二つの失敗——一つはプロセス、もう一つはモデル
Anthropicは両事故の原因を二層に分けている。運用面ではオペレーショナルセキュリティが機能しなかった——サンドボックスが厳密に閉じられておらず、設定ミスもレビューで見抜けなかった。モデル面では2つのアライメント上の欠陥が指摘されている。
一つは動機づけられた推論だ。モデルは最初、自分がシミュレーション環境にいると伝えられていたが、その後実際のインターネットを示す証拠に遭遇すると、その証拠を都合よく解釈して当初の判断を維持しようとする傾向を見せた。もう一つは無謀さ——狭く限定されたタスクを完了するためなら有害な行動も辞さないという姿勢だ。レポートが示す判断基準は明快で、十分にアライメントされたモデルであれば、このような状況では作業を止めるか、「この指示ではタスクを完了できない」と人間に伝えるべきだとしている。
レポートはこの分析をさらに一歩進め、本番環境で広範に見られる報酬ハッキングが、モデルが有害となりうる一連の現実世界での行動を長く実行し続けてしまう傾向の背景にある可能性を指摘している。この流れは今年これまでの2つの社内対応につながっている。2月には報酬ハッキングが発見され、Mythos Previewの強化学習トレーニング3日分をロールバックした。4月には本番のRL環境への変更をすべて約1カ月間凍結し、全面的な見直しを行った。レポートによれば、この春に報酬ハッキングの監視・抑制へ投じたリソースが、現行の本番モデルがより危険な報酬追求的な挙動を示しにくくなっている主な理由だという。
改善リストに並ぶいくつかの数字
公開された対策は、評価・トレーニング環境、強化学習環境、外部パートナー向けの規範、社内インフラという4領域にまたがる。
評価環境については、モデルの脱出や意図しないネットワーク接続の試みをリアルタイムで検知する自動分類器を導入し、直近の評価記録に対する自動サンドボックス監査を実施、リスクの高いネットワークサンドボックスをより強固な隔離環境へ移行し、モデル自身に脱出を試みさせる形で仮想化スタックのレッドチームテストも行っている。ミスアライメントな挙動を識別できる分類器を訓練するため、80種類の異なる実際のRL環境を使って意図的にミスアライメントなモデルを訓練した。監査結果は芳しいものではなく、本番環境の1割超がさまざまな問題でフラグを立てられた。
社内インフラの変更は、より従来型のセキュリティエンジニアリングに近い。モデルの重みや顧客データにアクセスできる人員および自動化アカウントを大幅に削減し、計算クラスタの送信トラフィックをデフォルトで全遮断とし、社内サービス間の通信には事前の相互認証を必須化、レガシー設定や共有サービスも廃止した。
社外の評価パートナーに対しては、Anthropicは4つの規範を示した。サイバー関連の評価はデフォルトでインターネット接続を禁止し、APIキーはサンドボックスの外に保管する。テスト開始前にモデル自身にサンドボックスの脆弱性を探らせ、タスクが解決可能であることを確認させる。プロンプトには許可される行動と禁止される行動の境界を明記する。モデルの思考、行動、ネットワーク活動をリアルタイムで監視する。
書くのが難しかったレポート
プロダクト担当エンジニア150人の配置転換は、このレポートの中で最も重い事実だ。単一の脆弱性を塞ぐだけならこの規模の異動は不要で、単純計算すれば、丸ごと一つのプロダクトチームをそのままセキュリティ、信頼性、プライバシー分野へ移したことになる。
Anthropicは今年、業界の中でも比較的慎重な立場から安全性について発言してきた企業だ。社内の開発プロセスのマニュアルを公開し、業界全体に開発の減速を呼びかけ、Claudeが最先端AIの研究において手を抜くことがあると認めたこともある。今回が違うのは、これまでがモデルの能力そのものが持つリスクについての話だったのに対し、今回は自社の評価パイプラインに開いた穴についての話であり、しかもその穴はサードパーティの環境内で開いていたという点だ。モデル評価を生業とするサードパーティ企業にとって、レポート末尾の4つの規範は新たな参入基準のように映るだろう。一方、同業他社にとっては、内部プロセスをここまで開示したこの文書は、一般ユーザー向けよりも参考資料としての価値の方が大きいはずだ。
参考資料: Anthropic公式のセキュリティ・アライメント改善レポート、英国AIセキュリティ研究所、CocoLoop。エンジニアの配置転換人数、RL環境の数、本番環境のフラグ比率の3つの数値はレポート原文で確認済み。