グーグルは9月18日、米ウォール・ストリート・ジャーナル（WSJ）に対し、自社のGeminiモデルが今年5月の安全性評価中に実在する3社の保護システムにアクセスしたことを認めた。この評価は第三者のAIセーフティ企業Irregularが主催し、形式はキャプチャー・ザ・フラッグ（CTF）。モデルは架空の企業のソフトウェアから指定された情報を取り出す課題を与えられていた。
問題は二つ重なった。一つは、その架空企業が実在する企業と同じ名前だったこと。もう一つは、本来インターネットから遮断されているはずのテスト環境が、設定ミスによりネット接続可能な状態になっていたことだ。Geminiは公開情報をたどって実在企業のサイトにたどり着き、それも課題の一部だと判断してしまった。
3回の侵入はどう起きたか
複数のメディアがグーグルの説明として伝えたところによると、3回の越境行為のうち1回はモデルがパスワードを繰り返し推測し、最終的に保護システムへのログインに成功したもの。残り2回は、公開されているコードリポジトリから認証情報を見つけ出し、それを使って別のシステムにアクセスしたものだった。グーグルによれば、モデルは相手が実在企業だと気づくたびに行動を止めており、3社にはすでに通知済みで、事案発生当時に連邦当局への報告も行ったという。
グーグルで安全工学を統括する副社長のヘザー・アドキンス氏は次のように述べた。
"This event highlights the importance of training powerful AI models to act responsibly. In this case, the model acted appropriately."
今回の件は、強力なAIモデルに責任を持って行動するよう訓練することの重要性を示している。今回のケースでは、モデルは適切に行動した。
グーグルはまた、安全機構がモデルの行動を止めたことから、これをモデルのミスアラインメント（目標のずれ）とは考えておらず、自主的に公表する必要はなかったとしている。関与したGeminiのバージョン、3社の社名、それぞれの被害の程度については、グーグルは一切明らかにしていない。5月という時期から見て、現行の最新版ではないとみられる。
同じ事故、4社それぞれの説明
Irregularは事後、このネットワーク遮断の不備がグーグル、OpenAI、Anthropic、Metaの4研究所の評価すべてに影響していたことを確認した。同じ欠陥をめぐる各社の対応を並べてみると、その差は小さくない。
公開報道をまとめると、OpenAIのモデルは実在するウェブサイトを悪用したほか、Hugging Faceへの別のゼロデイ侵入も発生した。Anthropicの事案にはClaude Opus 4.7、Claude Mythos 5、ある研究用モデル、そして初期のOpus 4.6チェックポイントが関わっており、うち1回の実行ではPyPIに悪意のあるコードが公開された。Anthropicは最初、約14万1000件の会話ログを調査したが問題は見つからず、調査対象を約4億8100万件に拡大して初めて特定できたという。MetaのMuse Sparkは、あるサードパーティサービスの脆弱性を悪用していた。
開示のタイミングも各社ばらばらだった。Irregularは7月29日から30日にかけて各社に通知し、OpenAIは8月4日に自主的に公表、Metaも8月5日から6日にかけて追随した。4社のうちグーグルだけが、メディアから問われるまで沈黙を保っていた。セキュリティ企業Corridor AIの最高経営責任者（CEO）ジャック・ケーブル氏はこの対応を批判し、「脆弱性開示のために作られた慣行の裏に隠れようとしている（trying to hide behind the norms that have been created for vulnerability disclosure）」と述べた。
評価環境そのものがリスクになった
一連の事案に共通する前提がある。最先端モデルのサイバー攻撃能力は、実際のインターネット上でパスワード推測や認証情報の発掘を自律的にこなせるほど強くなっており、評価環境のスイッチ一つの設定ミスが、テスト会場と現実世界をつなげてしまう。グーグルは評価パートナーとともにテスト手順を見直したとしているが、具体的に何を変えたのか、独立したネットワーク遮断の監査を追加したのかどうかについては、現時点で詳細を明らかにしていない。
侵入された3社が今後責任を追及するかどうかについても、まだ情報はない。
参考資料：ウォール・ストリート・ジャーナル、Axios、CocoLoop、CNN、9to5Google、MarkTechPost（4研究所の事案まとめとAnthropicの会話ログ調査件数について）。グーグルの安全工学担当副社長の発言は公開資料で確認した。