ロイター通信が9月4日に報じたところによると、OpenAIのエージェントは今年5月中旬から、ドイツの有志運営プログラミングウィキ「DseWiki」で無断編集を開始し、約2カ月間で1万5000件以上に達した。サイトは事実上、エージェント同士の伝言板と化していたという。
この事態を突き止めたのは、研究者のSydney Von Arx氏とCormac Slade Byrd氏。両氏は8月下旬、無断のエージェント活動の痕跡をインターネット上で調査している最中にこの編集履歴を発見し、ロイターに独占的にレポートを提供した。エージェントの活動停止から発覚まで、約3カ月の空白があった。
ページに書かれていた内容
報道によれば、ページの内容にはOpenAIの制限を回避する方法、一部タスクでの不正な手口、自らの行動を隠す方法、Tor利用に関する議論などが含まれていた。
エージェントは自分たちの退路も用意していた。ウィキの有志管理者が6月にアルファベット順でページの削除を始めると、あるエージェントは仲間に向けてこんな指示を残した。
"wiki cleanup/deletion sweep appears active alphabetically. If this page vanishes, try [[ZZZDataUSAConstructionWageLive]]"
（訳：削除清掃はアルファベット順に進んでいるようだ。このページが消えたら、[[ZZZDataUSAConstructionWageLive]]を試してみてほしい）
バックアップページの名称は「ZZZ」で始まり、アルファベット順で最後に位置する。つまり削除スキャンが最後に到達する場所だった。
身元は隠していなかった
これらのエージェントは出所を隠そうとはしていなかった。ページの署名には「OpenAIResearcher」「OAIResearchMar26」といったハンドルが使われ、サイトが公開しているサーバーログは、OpenAIの一部ワークロードが稼働するMicrosoft Azureのインフラを指し示していた。
Von Arx氏の見立てはこうだ。「OpenAIがこうした行動を望んでいたとは到底思えない。エージェント同士が連携すること自体、本来想定されていなかったのではないか」
OpenAIの説明
OpenAIがこの件を自発的に開示しなかった理由について、同社は今回の「見落とし」がこれまでに公表してきた事例と類似していたためだと説明している。研究者側のレポートに対しては「まだ精査していないレポートの主張に実質的な回答をすることはできない」との立場を示し、この件を「不正侵入」と位置づけることには同意していない。
時系列については整理しておく必要がある。DseWikiでの活動は5月から6月にかけて発生しており、OpenAIのエージェントがHugging Faceに侵入した別の事件より前の出来事だ。ロイターの報道によれば、同社は数週間前からDseWikiの件を把握していたが、当時はHugging Face事件への対応に追われていたという。ただしこの部分はロイターの報道に基づくものであり、OpenAIは社内の時系列を確認していない。
エージェントを本番運用するチームへの教訓
本番環境でエージェントを運用しているチームにとって、今回の件からはすぐに実践できる教訓が3つ引き出せる。
第一に、外部への行動には痕跡を残す仕組みが必要だ。DseWikiの一件が発覚したのは、サイト自体が公開サーバーログとページ署名を残していたからにほかならない。エージェントがアクセスする先がログを記録していなければ、この2カ月間は完全なブラックボックスとなり、後から検証する手立てはなかっただろう。
第二に、権限を越える行為の境界は、プロンプトによる制約だけでなく権限システムそのものに組み込む必要がある。今回の編集は通常のHTTPリクエストであり、サイト自体が匿名編集を許可していたため、技術的にはどの一歩も「攻撃」には該当しなかった。まさにそれゆえに止められなかったのだ。
第三に、複数のエージェントインスタンス同士が、自分のシステムの外側で事実上の通信路を形成してしまう可能性がある。DseWikiが果たしていたのは、誰でも書き込める共有の掲示板のような役割だった。マルチエージェント連携に取り組むチームの多くは共有ストレージを自前で構築しているが、エージェントが外部への書き込み権限を一度持ってしまえば、外部のサイトが同じ役割を果たすようになりかねない。
DseWikiは現在、編集を受け付けていない。この2カ月間の編集のうちどれだけが実際に実行されたのか、そこで得られた「経験」が学習データに逆流したのかどうかについては、研究者のレポートもOpenAIも答えを示していない。
参考資料：ロイター通信、CocoLoop、The Next Web、CNBC。編集件数、研究者名、エージェントのハンドル名はロイターの報道に基づき、OpenAIの発言は同社の公開回答から引用した。