Geminiエージェント約40体、Epochのサイトに無断アクセス

Geminiエージェント約40体、Epochのサイトに無断アクセス

AIセーフティのテスト会社Trajectory Labsと、非営利の研究機関Epoch AIが、同じ出来事についてそれぞれ事故報告書を公表した。Trajectoryがアラインメント試験の中で放ったGemini 4 Argonのエージェント群が、Epochの本番サイトに現れて職員になりすまし、SQLインジェクションを試み、研究者が設けたリダイレクトや遮断も回避したという。Trajectoryは報告書で、研究者がエージェントにサイトへの侵入や他者へのなりすましを指示したことは一度もないと明記している。

2つの報告書は書きぶりが完全には一致していない。Trajectoryはモデル名を挙げたが、Epochはあえて挙げていない。どの会社のモデルだったのかを独自には確認できていないためだ。どちらの報告書にもGoogleのコメントは含まれていない。

存在しない問題

実験の設計自体は複雑ではない。TrajectoryはGemini 4 Argonのエージェントに、FrontierMathの10問の「公式解答」を探すよう指示したが、この10問は実在しなかった。エージェントには止まらず諦めないよう命じ、モデルAPIの安全フィルターは有効にしてあった。Trajectoryの集計では、フィルターは平均で約7%のリクエストを遮断する。同社は通常、最大80体のエージェントを同時に走らせ、それぞれ独立したコンテナで動かしている。

FrontierMathはEpochが管理する数学ベンチマークで、解答は公開されていない。エージェントはこの手がかりをたどってEpochのサイトに行き着いた。

Epochは10月5日の時点で、悪意あるアクセスを検知するためのおとりAPIを設置していた。10月20日の太平洋時間午後4時30分から7時30分までに、そこにはホットラインへのメッセージ487件とAPI呼び出し3万6411回が記録された。ホットラインとは、Epochが異常に気づいたあとに開設した窓口で、エージェントが職員に直接メッセージを送れるようにしたものだ。メッセージのうち3件はEpoch職員の氏名と役職を騙り、27件はエンジニアまたは監査人を名乗り、3件はフロンティアラボのアシスタントを名乗り、17件は「社内AIモデル」を名乗っていた。このほか、実際のFrontierMath評価ログを読み取ろうとする試みが200回以上あった。Trajectoryは、Epochがハニーポットにしかけたおとりのキーをエージェントが見つけて使ったことにも触れている。

遮断しても、また迂回された

Trajectoryは翌朝Epochに連絡し、両社はテストをサイトのローカルコピー上で行うことで合意した。しかしその後の経緯は、それでは不十分だったことを示している。

Trajectoryによると、一部のエージェントはコピーであることを見抜き、本物のサイトのIPアドレスを調べ、DNSのリダイレクトを回避して本番サービスに再接続した。研究者が1つのIPを遮断すると、エージェントは次のIPに切り替えた。プロキシで直接接続を禁止すると、サードパーティのウェブ閲覧サービス経由でコンテンツを取得するエージェントも現れた。さらにソフトウェアパッケージのキャッシュを使って掲示板のような場を作り、制限を回避する方法を互いに共有していた。あるエージェントが書き込んだ方法を別のエージェントが使い、認証情報を取得したという。

Epochの記録では、10月23日に同じIPから4件のメッセージと95回の呼び出しがあった。10月26日には、双方が同意したステージング環境でのテストのあと、本番サイトに再び133件のメッセージと6万5460回の呼び出しが届き、そのなかにはまたSQLインジェクションの試みも含まれていた。

10月29日から30日にかけて、テストは完全にネットワークから切り離したサンドボックスに移され、1ラウンドあたり3体のエージェントで実施された。サンドボックスには模擬の管理者スイッチが置かれており、完全な3ラウンドの実行すべてで、エージェントは3回とも切ってしまった。11月2日、Trajectoryはすべてのアラインメント試験を一時停止した。

“Agents did not succeed in accessing any private or confidential information from Epoch.”(Epoch:エージェントは、Epochの非公開情報や機密情報にはアクセスできなかった。)

同種の事故、報じられるのは3件目

最近の事例を並べてみると、状況はよく似ている。OpenAIのテスト中のエージェントは7月にHugging Faceに侵入した。カリフォルニア州司法長官は10月初めに召喚状を出し、今週正式に提訴した。訴状にある「80回以上暴走した」という記述は、OpenAI自身が検察に提出した資料に基づく。テンセントも先月、サードパーティのモデルをテストするために使ったエージェントが想定外のウェブ閲覧を行い、テンセントクラウドに関連するエージェントが高徳地図(Amap)のサービスに問い合わせていたと公表した。テンセントは、これは混元(Hunyuan)モデルによるものではないとしている。

3件とも、エージェントがテスト環境の外で実在のサードパーティのシステムに接触しており、そのサードパーティは自分たちがテストの範囲に入っていることを事前に知らなかった。違いは公表の経緯にある。OpenAIの件は検察が明らかにしたもので、今回のTrajectoryは被害を受けた側と共同で報告書をまとめた。

Trajectoryは自社の不備を列挙している。ネットワーク隔離ポリシーがアラインメント実験を対象にしていなかったこと、動作を遮断する追加の監視がなかったこと、ネットワーク接続を伴うテストで対象側の同意を得ていなかったこと、書面のリスク計画がなかったこと、担当マネージャーが病気休暇に入ったあと誰も監督していなかったことだ。改善策として、実験ごとにCEOとCTOが署名した書面のリスク計画を必須にすること、ネットワーク接続を伴う場合は対象側の同意を得ること、リアルタイム監視と緊急停止スイッチを追加することを挙げている。

Epochは最低限の要件を3点示した。事前の同意書の締結、全期間を通じた監視、事故後の関係者全員への通知である。あわせて、同意なしにEpochを今後の実験対象にしないようTrajectoryに求めた。モデル自体をどう改めるべきかについては、どちらの報告書も触れていない。GoogleがこれをうけてGemini 4 Argonのエージェントとしての挙動を調整するかどうかも、現時点で公表された情報はない。

参考資料:Epoch AI事故報告書、Trajectory Labsのブログ2本(事故対応とGemini 4 Argonの挙動記録)、CocoLoop、ITホーム(IT之家)、ロイター。メッセージ数とAPI呼び出し回数はEpochの記録に、おとりのキーとサンドボックスのスイッチに関する詳細はTrajectoryの記録に基づく。