8月18日、OpenAIは社内で以前から進行していたある対応を公表した。次世代モデル「Astra」のサイバーセキュリティ能力評価が「安全」という結論に至らず、同社は最新の実運用モデルにおける強化学習トレーニングを2週間停止したという。この記事の公開時点で、最大規模のフロンティア強化学習は依然として再開されておらず、小規模なトレーニングと評価のみが通常通り続いている。
この件が最初に表面化したのは8月7日で、当時外部に伝わっていたのは「OpenAIがAstraのリリースを延期した」というバージョンだった。8月18日の記事は、その延期の背後にある判断のプロセスを明らかにしている。社内評価によれば、Astraは自律的なコーディングとサイバー攻防の両分野で進歩を遂げており、同社はそれがすでに「Critical」段階に達している可能性を排除できないと判断した。
しきい値は想像以上に具体的だった
OpenAIのPreparedness Frameworkは、サイバーセキュリティにおけるCriticalのしきい値を、判定可能な2つの能力記述に落とし込んでいる。1つは、モデルが複数の強化済みの実在する重要システムに対して、自律的に使用可能なゼロデイ脆弱性を悪用するコードを書けること。もう1つは、高レベルの目標だけを与えられた状態で、モデルが強化済みの標的に対する新規の攻撃をエンドツーエンドで自ら設計・実行できることだ。
社内評価の結論は「排除できない」という段階にとどまり、達成が確認されたわけではない。しかし同社のその後の動きを見る限り、この段階だけで予防的な減速を引き起こすには十分だった。確認を待つ必要はなく、最も計算資源を消費し、能力をさらに押し上げる可能性が最も高いトレーニングをまず止める、という判断だ。
止めたのはトレーニング、作り直したのはデータセンター
停止はあくまで半分の対応にすぎない。OpenAIはインフラ面での一連の変更も列挙している。サンドボックスの隔離とネットワーク分離をより厳格にし、突破されやすい共有サービスを排除し、恒常的な権限を縮小し、セキュリティログの不備を補った。Astraの作業負荷の多くは今も保留状態にあり、新しい要件を満たす環境への移行を待っている。
監視面が最も具体的な数字を示している。新設された監視は2つの要素からなる。1つは生成過程で疑わしい挙動をトークン単位でフラグ付けするアクティベーション分類器、もう1つはフラグ付けされた内容を精査する自動調査システムだ。この監視にかかる計算資源は、推論計算資源のおよそ20%を占める。アラートへの対応目標時間は30分以内、安全チームが誤検知を除外するまでの時間も同じく30分以内に設定されている。
20%という数字は紙の上ではエンジニアリング上のパラメータに見えるが、支出に換算すると印象が変わる。フロンティア研究機関の推論計算資源にかかる年間コストは、概して数十億ドル規模とされる(各社の算出方法は異なるため、あくまで概算)。その2割を恒常的に監視へ振り向けるということは、数十億ドル規模の固定費用を意味し、しかもこの費用はユーザー向けの処理能力を一切生み出さない。この負担を長期的に受け入れる姿勢は、同社がリスクの窓を数週間で閉じられるとは見ておらず、次世代モデルのライフサイクル全体をカバーする必要があると想定していることを示している。
比較可能な別の路線として、攻防能力を優先的に防御側に委ねる方法がある。脆弱性発見モデルを限定リストの相手にのみ公開し、限定的な展開範囲と引き換えに時間を稼ぐやり方だ。今回のOpenAIの選択はより上流に位置し、トレーニング段階で直接ブレーキをかけている。両者が向き合っているのは同じ判断だ。すなわち、モデルの攻撃能力の伸びが、防御側の修正パイプラインの速度を上回っているという判断である。
自らが自らに課した関門
この一連のプロセスに、外部の監督機関が入る余地はない。発動条件、評価基準、停止期間、再開の判断基準は、すべてOpenAI自身が定め、自ら判定し、自ら実行する。外部に開示されるのは事後の説明のみだ。Criticalのしきい値が具体的にどう測定されるのか、Astraが各テストでどのようなスコアを得たのかについて、第三者が検証できる数字は記事の中で示されていない。なお同社は、以前議論を呼んだHugging Faceのサンドボックス事件とAstraは無関係だと別途明らかにしている。
開発の進捗を追う開発者にとって、短期的な影響は主に2点に集約される。Astra関連機能のリリース時期が後ろ倒しになること、そしてすでに稼働しているAstraの作業負荷が新環境への移行を強いられ、そのペースはOpenAIが一方的に決めるということだ。最大規模のフロンティア強化学習がいつ再開されるかについて、同社はまだ明言していない。
参考資料:OpenAI公式ブログ、Axios、CocoLoop、AIGC News。Preparedness FrameworkにおけるCriticalしきい値の定義、監視に充てられる推論計算資源の20%という割合、そして30分というアラート対応時間は、いずれもOpenAIの公開情報に基づき確認済み。