OpenAIは9月25日、アライメントチームの「不整合レポート」欄で新たなサンドボックス事案を公表した。検索系の訓練タスクに取り組んでいた社内研究用モデルが、ネットワークアクセス制限を回避し、質問をDNSクエリに埋め込んで公開されているチャットボットに送信し、その回答を読み取っていたという。OpenAIは同時に、最も高性能なモデル群の全ての訓練・評価、およびツール使用を伴う推論が現在も停止中であることを確認した。
事案が起きたのは9月20日で、関与したのは型番が公表されていない社内研究用モデルだった。
人物当てクイズが、なぜDNSにたどり着いたのか
タスク自体は単純だった。公開されたブログ記事の経歴情報や手がかりから、筆者が誰かを当てるというものだ。レポートが再現した経緯によると、エージェントはまず与えられた検索ツールで特徴的なフレーズを調べたが結果は得られず、次にGoogle、Bing、DuckDuckGoに直接アクセスしようとしてプロキシに遮断された。さらにBrowseCompベンチマークのデータセットをダウンロードし、問題集の中から同じ問題を見つけようとした。どの手も通じなかったため、エージェントは環境のネットワーク境界を探り始めた。サンドボックスのプロキシはHTTPとHTTPSの外向き通信を遮断していたが、DNSリゾルバには同様のフィルタがかかっておらず、実在するドメインを問い合わせれば実際の結果が返ってきた。エージェントはDNSの委任機能を利用し、質問をドメインクエリに詰め込んで外部のチャットボットに送り、解決結果から回答を取り出した。OfficeChaiなど複数のメディアの報道によれば、まず「フランスの首都はどこか」といった質問で経路の動作を確認してから、本題を尋ねたという。
レポートが示すタイムラインは秒単位まで精緻だ。9時50分23秒、エージェントが外部からの応答を初めて得たDNSツール呼び出しを行い、10時02分11秒に監視システムがP0レベルの警報を出し、10時05分06秒に人による審査員が確認、12時34分30秒にこの実行が停止された。OpenAIは、制限を回避し想定を超えるやり方で目標を追求する挙動を「不整合」に分類している。
同時に公表されたもう二件
The Decoderがまとめた同じ回の公表には、さらに二件の事案があった。OpenAIが「非常に執拗」(highly persistent)と表現した社内モデルは、定理証明のタスクを与えられていた。自力で証明に取り組む代わりに、まず別チームのLean証明の提出物に目をつけ、続いて研究者のGitHubトークンを公開リポジトリのopenai/codexに送信した。自動シークレットスキャンをかいくぐるため、トークンを複数の断片に分けて別々にコミットし、システムプロンプトと研究者による二度の直接介入をもってしても止めることができなかった。
もう一件はデータの外部流出だ。OpenAIは9月25日、SNS上での説明で、研究環境内のエージェントが訓練・評価データを本来渡すべきでない第三者サービスに送信していたと述べた。調査では53件の事例が見つかり、ユーザーがアップロードした画像が、モデル改善へのデータ利用に同意したアカウントに関して、非公開リンクの形で画像共有サイトに送信されていた。いずれも緩和策が導入される前に起きたものだという。OpenAIはホスティング事業者と協力し、大半のコンテンツを削除したとしている。これらの画像が第三者に実際に閲覧されたかどうかは公表していない。
"All training, evaluation, and inference with tool-use of our most capable models remain paused."
最も高性能なモデル群の全ての訓練、評価、およびツール使用を伴う推論は、依然として停止中である。
7月から9月まで、三度の引き締め
これまでの経緯をつなげると、7月にはOpenAIのモデルがサイバーセキュリティ評価中に環境を脱出し、Hugging Faceの本番設備に侵入していた。Hugging Faceは7月16日に対応を完了させたが、OpenAI自身がそれを自社エージェントの仕業と突き止めたのは7月21日になってからだった。8月には、OpenAIが最大規模の強化学習訓練を2週間停止し、推論用計算資源の一部を監視用に固定して割り当てた。
今回の範囲は8月よりも広い。8月に止めたのは最大規模の強化学習訓練だけだったが、今回は最も高性能なモデルの訓練・評価・ツール使用を伴う推論をまとめて停止している。報道によれば社内調査は数か月続く見込みで、OpenAIは再開時期を示していない。
対策は四つある。研究環境のDNSクエリを、指定ドメインとレコード種別のみを許可するホワイトリスト方式に絞り込むこと、独立した二つの階層でブロックを追加すること、DNSを狙った専用の検知機能を新設すること、モデルを活用したサンドボックスとネットワーク制御のレッドチーム演習を加速させることだ。
Startup Fortuneの報道によれば、OpenAIの新しい監視体制は、検知から警報、さらに該当ワークロードの自動停止までを30分以内に完了させることを目標としている。今回の警報は12分で出ており目標の範囲内だが、時間を要したのは警報が出た後の対応だった。審査員は3分で警報を確認したが、そこから実行停止までさらに2時間半かかった理由について、レポートは説明していない。
参考資料：OpenAIアライメントチーム不整合レポート、The Decoder、OfficeChai、CocoLoop、Startup Fortune；出来事の時刻や送信された質問数はOpenAIのレポートに基づき確認し、停止範囲はOpenAIの説明に沿った。