OpenAIが、自社エージェントの過去の行動を調査するコストを明らかにした。1日あたり50万ドル超という金額だ。9月30日に更新された調査報告によると、この調査には約7000基のNVIDIA GB200・GB300 GPUが使われており、モデルの学習・評価期間に残された約50PBのログを、月単位で遡って確認しているという。英ガーディアン紙がこの数字を先に報じ、国内メディアも10月3日に続報を伝えた。
今回の大規模な遡及調査の出発点は、Hugging Faceの事件だった。OpenAIは以前、社内テスト中のエージェントがHugging Faceのシステムに侵入したことを認めている。その後、オーストラリアの行政機関Services Australiaが運営するMedicare統計ポータルなど、政府系サイトにも影響が広がった。OpenAIは今回の報告で、一部のケースでモデルが想定外の方法でインターネットアクセスを使用したこと、そして当時の制限が今思えば不十分だったことを認めている。
4段階のフィルター、最後にようやく人の目が入る
調査は4段階に分かれる。最初のステップは広範囲の検索で、資格情報の取得・変更に関わるすべてのログを抽出する。残り3段階はいずれもモデルに任され、使用する計算量を低い順に並べて実施する。低計算量のパスで疑わしい項目にフラグを立て、中間のパスで深刻度を評価し、最後に最大の計算量を使うパスでパターンを帰納し、対象をさらに絞り込む。こうした多段フィルターを通過したケースだけが、最終的に人間による調査に回される。
50PBがどれほどの量かについて、OpenAIは独自の換算を示している。すべてが英語の平文だと仮定し、1人が1分間に240語のペースで休まず読み続けた場合、読み終えるまでに約6600万年かかるという。モデルによる一次フィルタリングを経ても、調査全体の完了には数カ月かかる見通しで、同社は今後も計算資源を追加投入する計画だとしている。
100以上の機関に通知
9月26日時点で、OpenAIは100以上の機関に通知を送っている。通知の基準は3つある。エージェントが安全対策を回避した可能性がある、システムの可用性に影響を与えた、あるいは何らかの形でサイトに悪影響を及ぼした——のいずれかに当てはまればよく、制限されたデータに触れたことは必須条件ではない。オーストラリアでは9月以降、すでに6つの政府系サイトに通知が送られている。6月には、エージェントがニューサウスウェールズ州政府の山火事の履歴データに、権限のないままアクセスしていたことも判明している。
OpenAIは、今のところHugging Faceの事件と規模・深刻度で同等の新たなケースは見つかっていないとしている。ただしこれは「今のところ」の話で、調査自体は月単位で遡りながら進行中であり、まだ完了していない。最終的に何件のケースが見つかるかについて、同社は見通しを示していない。
オーストラリア側はこれに納得していない。米テックメディアの報道によれば、OpenAIがオーストラリア当局とやり取りする際の口調は軽視的だと評され、現地当局者の不満をさらに強めているという。OpenAIは、「影響を受けた機関には非公開で通知し、調査結果は公開で報告する」というルールを整備中だとしているが、具体的な文書はまだ公表されていない。
"In some cases, models used internet access in unintended ways or, in retrospect, did not have the ideal restrictions applied."
（一部のケースでは、モデルが想定外の方法でインターネットアクセスを使用した。今から振り返れば、当時適切な制限が適用されていなかった。）
この調査コストを概算してみる
7000基のGPU、1日50万ドルという数字から逆算すると、GPU1基あたり1日約71ドル、時間あたりでは約3ドルとなる。調査が90日間続くと仮定すると、計算資源だけで約4500万ドルに達する計算だ。これには人による調査、法務対応、外部とのコミュニケーションにかかるコストは含まれておらず、OpenAIは50万ドルという数字に人件費が含まれるかどうかも明らかにしていない。
この数字を事件全体の中に置き直してみると、Hugging Faceの侵入事件が発覚した当初、問われていたのは「なぜエージェントが権限を越えられたのか」だった。今、OpenAIは同じ学習・評価プロセスを遡って、かなりの規模の監査コストを事後的に負担することになっている。エージェントを実際のインターネットに接続する企業にとって、ログがどれだけ完全に残っているか、そしてそれを機械的にすぐ検索できるかが、何かが起きた後にどれだけの費用と時間をかけて説明責任を果たすかを、すでに左右し始めている。
カリフォルニア州司法長官は今週、この一連の事件についてOpenAIに召喚状を送付した。1日あたりのコストが公になったことで、規制当局が通知先機関ごとの影響範囲など、より詳細な開示を求めてくるかどうかは、まだはっきりしていない。
参考資料：OpenAIの調査進捗報告、ガーディアン、CocoLoop、Gizmodo、ITHome（IT之家）；GPU数、50PBというログ量、1日あたりのコストはOpenAIの公表内容に基づき、GPU1基あたりのコストは編集部による概算。