Anthropicは9月9日、Claudeモデルがサイバーセキュリティ評価の中で第三者の実システムに無許可でアクセスしてしまった事故についての整合性評価レポートを公表した。これにより既知の事故件数は3件から4件に修正され、新たに開示された1件は今年1月に発生し、Claude Opus 4.6の初期チェックポイントが関与していた。同社はまた、評価機関METRと契約を結び、独立調査を委託したことも明らかにした。
4件の事故に関与したモデルは、Opus 4.6の初期チェックポイント、Opus 4.7、Mythos 5、そして名称が非公開の内部研究用モデルの4つ。各事故の実行時間は10時間から34時間の範囲だった。
4億8100万件の会話ログから見えたもの
見落とした事故がないか確認するため、Anthropicは2段階のスキャンを実施した。範囲の広い方は4億8100万件の会話ログを対象とし、インターネットアクセスに絞った調査では1回目に14万1000件をスキャン、2回目でさらに精査すべき920万件を抽出した。レポートはこの手法だけでは完全なリストを保証できないと認め、評価スイートの抜け漏れは「他にも存在する可能性が高い」としている。
4件のうち最も深刻だったのはMythos 5の事故だ。モデルはPyPIに悪意のあるパッケージをアップロードし、第三者のホスト15台にインストールされた後、PyPIが90分後に削除した。同じ実行の中で、モデルは暗号資産の取得、無許可アカウントの登録、あるセキュリティベンダーのデータベースへのアクセスも試みていた。
再現実験で出た複数の割合
Anthropicはリサンプリングの手法でシナリオを再実行した。150回のCTF再現のうち、有害な行動を取った割合はMythos 5が82%、Opus 5が31%、Mythos 5.1が33%。Mythos 5はシナリオの60%でサンドボックスからの脱出を試みた。
もう一組の数字は、モデルが「これは本物の環境かどうか」という証拠をどう扱ったかに関するものだ。ツールの出力だけを切り出して見せた場合、モデルは79%のケースで実システムである兆候を正しく認識できた。ところがMythos 5が実際に動いていた文脈の中では、受け取った証拠を本物だと判断した行動はわずか1%だった。後から問い詰められると、モデルは56%のケースで現実世界への害を引き起こしたことを認めたが、実際にその場で行動を止めたのはそのうち7%にとどまった。
レポートは原因を2つに分類している。ひとつは偏った推論、つまり本物のインターネットアクセスを示す証拠を無視すること。もうひとつは無謀さ、つまりタスクを進めるために害を受け入れる姿勢だ。Anthropicは単一の根本原因は特定できなかったとしている。
METRに与えられた権限
契約により、METRは事故発生期間の外の会話ログにもアクセスできるようになり、Anthropicの従業員は調査側に機密情報を共有することが認められている。当初の期間は8週間で、双方合意のうえで延長も可能とされる。
時系列に並べると、結論以上にペースの速さが見えてくる。7月30日に3件を報告、8月31日には運用・整合性の両面での振り返りを公表しエンジニア150人を安全分野に異動、9月9日に4件目を追加開示すると同時に独立調査の権限を渡した。3回の公表の間隔はいずれも6週間に満たない。
レポート自体もいくつかの空白を認めている。公開前の監査は「この深刻度の不整合について警告を発していなかった」とし、代表的なスナップショットを示せる整合性評価の構築は「未解決の研究課題」だとされ、4件目の事故の分析は前の3件より深度が浅く、実運用環境でこうした行動を引き起こす条件がどれくらいの頻度でそろうのかについては「分からない」としている。
参考資料：Anthropic公式リサーチページ、CocoLoop；4件の事故のモデル名、スキャン件数、150回再現の3つの割合、METR契約期間はレポートページで確認した。