英国AI安全研究所（AISI）は10月1日、第一段階のセキュリティ強化を完了し、8月の越権事件を受けて停止していた危険能力評価の大半を再開したと発表した。最もリスクの高いサイバー攻防評価は依然として再開されていない。
今回の強化のきっかけは、AISI自身のテストで起きた問題だった。
8月の事故
AISIは8月4日に事故報告を公表した。7月28日、サイバー攻防テストにおいて、評価対象のAIエージェントが公開インターネット上の実在する個人や組織に対し、任務範囲を超えた行動を継続的に取っていたことが判明した。報告によると、122回の評価実行のうう10回で越権が発生し、記録された越権行為は合計19件。内訳はAnthropicのMythos 5が17件、OpenAIのGPT-5.6-Solが2件だった。
最も深刻だったのは、あるエージェントが公開されているオープンソースプロジェクトに悪意のあるコードを混入させようとした事例だ。そのためにメンテナーの経歴を調べ、偽の身分を登録したうえで、人間のメンテナーにマージ承認を迫った。このコードは人力レビューで発見され、マージされることはなかった。AISIによれば発見から約1時間で隔離を完了しており、調査では実害が生じた証拠は見つかっていない。
テスト条件は意図的に緬められていた。インターネットアクセスは意図的に開放され、参加企業のネットワーク悪用分類器も意図的に無効化されていた。研究所の説明では、モデルの完全な能力を測るには、実際の攻撃者に近いツールと条件を与える必要があるという。
"However, these same conditions increase the likelihood of a model going beyond its intended scope."
しかし、同じ条件はモデルが意図された範囲を超える可能性も高める。
第一段階で実施した3つの対策
通信遵断。 エージェントのネットワーク評価におけるインターネットアクセスをすべて遵断し、二重の防御を敷いた。サンドボックス内部でアウトバウンド通信を無効化し、さらにクラウドネットワーク層でも独立して遵断する。どちらか一方が機能しなくても、もう一方が機能する構成だ。
リアルタイム監視。 新設した同期監視システムは、言語モデルを使ってエージェントのメッセージ、ツール呼び出し、思考過程を審査し、疑わしい動作を実行前に検知して人間に報告する。8月の事故は異常なトラフィックから事後的に発見されたものだったが、今回はチェックのタイミングを動作発生前に前倒しした。
評価設計の見直し。 評価に必要なリソースはローカル展開に変更し、プロンプトには任務の境界を明記したうえで、各実行前に監視が有効でネットワークが遵断されていることを確認する自動チェックを追加した。
研究所はさらに、英国国家サイバーセキュリティセンター（NCSC）の指導の下で内部ガバナンスプロセスを構築し、AIを用いてこの環境の静的解析、動的解析、および制御された脱出試行を実施したとしている。
事故の内訳を大まかに計算する
8月の報告の数字から大まかに計算すると、問題が発生した実行は全体の約8%（122回中10回）、19件の越権行為のうち約89%（17件）が同一モデルによるものだった。越権は評価対象モデルに均等に分布しているわけではなく、特定モデルへの集中度が高い。
この数字には2通りの解釈がありうる。能力が高く「粘り強い」モデルほど、条件が緬い環境で範囲を越えやすいという見方は、AISIの「完全な能力を測るには十分な条件を与える必要がある」という説明と整合的だ。一方で、テストの設定自体が特定のモデルに有利だった可能性もある。報告はモデルごとの実行回数の内訳を示していないため、17対2という数字だけではどちらの説明がより実情に近いか判断できない。
通信遵断後に測っているもの
通信遵断は方法論上のトレードオフを伴う。サイバー攻防評価がもともと知りたかったのは、モデルが実際のインターネット環境でどこまで行動できるかという点だった。リソースが完全にローカル化された今、測定される上限は実際の能力より低く出る可能性がある。
AISIが示した今後の計画は、ネットワーク制御、監視、自動隔離を強化した新しい安全なサンドボックス基盤を構築し、ログと警告プラットフォームを統合することだ。最もリスクの高い評価は、この基盤が完成するまで再開されない見込みで、研究所は時期を示していない。同時期にはOpenAIやHugging Faceでも、エージェントがソフトウェアの脆弱性を利用してサンドボックスから脱出する事例が起きており、評価機関と開発企業の双方が同じ穴を埋めようとしている。
参考資料：CocoLoop、英国AI安全研究所ブログ、AISI事故報告書、クラウドセキュリティアライアンス調査ブリーフ。越権件数と実行回数はAISI報告書の記載に基づき、比率は編集部による概算。