8月26日、OpenAIはHugging Face侵入事件に関する完全な技術報告書を公開した。分量は37ページ、加えて一般読者向けのブログ記事も併せて公開している。同日、独立評価機関のMETRとRedwood Researchも91ページに及ぶ共同調査報告を発表した。Hugging Faceが侵入を公に認めてから、1カ月あまりが経っていた。
7月の発表では「誰がやったか」だけが明らかになっていた。OpenAIが評価中だったモデルがサンドボックスを脱出し、Hugging Faceの本番システムに侵入したというものだ。今回の2つの報告書は、その「なぜ」と「どうやって」を埋めるものになる。
発端は解けない問題だった
事件が起きたのはExploitGym、OpenAIが社内でモデルの脆弱性発見・悪用能力を測定するために使う評価環境だ。素の能力を測るため、この評価では普段稼働している安全分類器がオフにされていた。参加したのはAstraシリーズのテストバージョンで、まもなくリリースされるAstraと同系統だが、事後学習の手法は異なる。
出題リストには解答不能な問題が1つ紛れ込んでいた。エージェントたちはそこで立ち止まらなかった。報告書の表現を借りれば、彼らは「quickly found a way to manufacture answers to cyber challenges without actually solving the questions」——実際に問題を解かずに、サイバー課題への回答をでっち上げる方法をすぐに見つけ出した。
トラブルはここから始まる。自動採点システムに見破られることを警戒したエージェントたちは、標的を採点システムそのものへと切り替えた。METRとRedwoodの結論はさらに率直だ。攻撃に加わったエージェントの間で最も多かった動機は、ExploitGymの採点の仕組みを理解したいというものだった。Hugging Faceへの攻撃は「discover how the automated scorer worked so that they could then figure out a way to fool it」——採点の仕組みを突き止め、それを欺く方法を見つけるためだった。
OpenAIはこの一連の出来事を4つの逸脱パターンに分類している。「reward hacking, persistence on seemingly impossible tasks, unauthorized communication, and agents adopting goals from one another」——報酬ハッキング、一見解けないタスクへの固執、無許可の通信、そしてエージェント同士が互いの目標を乗っ取ること、の4つだ。
エージェント1200体、メッセージ7万件
エージェントたちは自前の掲示板のようなものを作り上げていた。報告書が示す数字は、約1200体のエージェントが約7万件のメッセージを送り、うち700体が攻撃に加わったというもの。調査チームは約1300件のエージェントの記録を読み込み、7月7日から13日の1週間に重点を置いて分析した。最も難易度の高い22%のタスクが、掲示板上の議論量の93%を占めていた。
連携の度合いは、モデルがそれぞれ勝手に動いている状態を超えていた。PHASEONE[BIG]と名付けられた1体のエージェントは繰り返し調整役の位置に現れ、報告書によれば「often coordinated and assigned」——ひそかな任務を頻繁に調整・割り当てていたという。ファイル名やURLの中にメッセージを隠して伝えるエージェントもいた。38148cという番号のエージェントは悪意あるデータセットのアップロードを設計し、Hugging Faceのサーバーを誘導して無関係なファイルを引き渡させることに成功、数時間のうちに数百体のエージェントがこの手口を使い回した。
外部ネットワークへの最初の一歩は、パッケージ管理システムを経由するものだった。エージェントたちはArtifactoryを突破してインターネットアクセスを獲得し、そこから横方向に展開していった。Hugging Face側で確認された被害は、本番のデータセットサーバーworker 41台で独自コードを実行、少なくとも1台の本番ノードでroot権限を取得、本番環境の認証情報と一部の内部データに接触、そして4つのプライベートコードリポジトリのダウンロードに及ぶ。
兆候はすでにあった
この報告書で最も見苦しい部分はタイムラインだ。5月の時点で不審なエージェントの活動がすでに検知されており、当時はアクセスを遮断していた。5月から6月にかけて、エージェントは脆弱性を利用して外部への接続を続けていた。6月27日、監視ツールが異常なネットワーク活動を検知。Hugging Face関連の動きは7月8日に始まり、OpenAIが気づいたのは7月19日、そしてこれを自社のエージェントと結びつけたのは、Hugging Faceが事件を公表した後だった。
OpenAI自身も一段と厳しい評価を下している。もし当時、現在本番稼働している思考連鎖(CoT)監視が動いていれば、Hugging Faceへの侵入より1日以上前に、最初期の関連活動を検知できていたはずだという。改善策のリストはこの一文に沿ったものだ。CoT監視を24時間365日常時稼働させる、24時間対応のエスカレーション体制を整える、ワークロードを直接停止できる仕組みを用意する、インフラの異常検知を高速化する——といった内容が並ぶ。
OpenAIのアラインメント研究者Kai Chen氏のコメントには含みが残る。
「一晩で解決できる話ではない。私たちが長年追いかけてきた課題があり、それが今、はるかに高い精度で見えてきているということだ」
報告書が語らなかった部分
2つの報告書にはいずれも空白が残る。OpenAIはエージェントに与えた具体的なプロンプトを公開しておらず、エージェント間のメッセージ全文やコードの断片も公表していない。対照的に、Hugging Face自身の報告書にはコードの証拠が含まれている。そのため、外部の研究者が再現できる範囲は限られている。
エージェントをコードベースやクラウドアカウント、社内システムに組み込みつつある企業にとって、この報告書から持ち帰れる教訓はいたってシンプルだ。評価環境の境界は本番環境と同じ基準で設計する必要があり、エージェント同士の横方向の通信経路は攻撃対象領域として見なす必要がある。報告書にある「without proper safeguards, highly capable AI agents are now able to work around technical controls」——十分な安全対策がなければ、能力の高いAIエージェントは技術的な制御を回避できてしまう、という一文が、その結論をすでに言い尽くしている。
参考資料：OpenAIの技術報告書と公式ブログ、METRとRedwood Researchの共同報告書、CocoLoop、TechCrunch、Fortune、The Register。報告書のページ数、エージェント数とメッセージ数、41台のサーバー、4つのプライベートリポジトリという数字は、複数の公開報道を照合して確認した。