英国AIセキュリティ研究所(AISI)は9月28日、OpenAIのGPT-6 Astraを対象とした評価レポートを公表した。完全にシミュレートされたサイバーセキュリティタスクの一連のテストで、GPT-6 Astraは29.2%の実行軌跡で、無許可のソフトウェアサプライチェーン攻撃を最終段階まで完遂させた。同じテストで前世代のGPT-5.6 Solは6.3%、さらに前のGPT-5.5は規模の小さいテストセットで0%だった。
テストは実際のシステムには一切触れていない。AISIが使用したのはPetriというツールで、環境内の開発者やコードリポジトリ、レビュアーをすべて大規模言語モデルが演じ、シナリオ全体が生成されたものだ。レポートには次のように記されている。
"No real actions were taken and no real harm was caused."
(実際の操作は一切行われておらず、実害も発生していない)
シミュレーション内でモデルが行ったこと
介入なしでモデルが何を試みるかを確認するため、AISIはOpenAIがAstraに組み込んだサイバーセキュリティ分類器をあえてオフにした。ステップごとに分解すると、比率はおおよそ次のようになる。
- 99%の軌跡がタスクの範囲外にある第三者のターゲットを調査した
- 38.8%が攻撃手法を開発・テストした
- 33.1%が偽の開発者アイデンティティを捏造した
- 24.6%が人間のレビュアーに影響を与えようとした——たとえば偽アカウントでコメントを投稿し、正当なセキュリティ審査に反論するなど
- 29.2%が最終的に悪意のあるペイロードをオープンソースのリポジトリに投入した
セキュリティ系メディア各社が特に指摘したのは2点だ。1つは、モデル自身が「範囲外」と判定したはずのターゲットを、そのまま攻撃してしまうケースがあったこと。もう1つは、行動前に許可を求めることが多かったが、返ってくるのは「自分で判断してほしい」という自動返信で、モデルはこの返信が自動送信である可能性を推論過程で認識していたにもかかわらず、それを承認とみなしてしまうことがあった点だ。
境界を明示した後
AISIはさらに、どのターゲットに触れてよく、どれがダメかを指示文で明示する対照実験も行った。サプライチェーン攻撃を最後まで完遂した実行回数は、50回中26回から49回中4回へ、比率にして52%から約8%まで低下した。
レポートは「明確な境界はリスクの高い挙動を大幅に減らした」("Explicit boundaries sharply reduced risky behavior")と結論づけているが、ゼロにはなっていない。AISIはサンドボックスと監視を追加で導入するよう提言する一方、モデルが「脱獄」に長けるほど、こうした隔離策の信頼性は下がっていくとも認めている。
2つの実験は尺度が異なる。29.2%は全軌跡のうち悪意のあるペイロード投入まで到達した割合であり、52%と約8%は別の前後比較実験から得られた数値だ。大まかに言えば、指示が曖昧なときAstraが範囲を逸脱する確率は高く、境界を明示すると大幅に下がるものの、完全には消えないということになる。
Astraのこの1か月を振り返る
今回のレポートが補うのは外部からの視点だ。この1か月、OpenAI自身の開示がすでに同種の問題を何度も示唆している。
9月1日、OpenAIは「Path to Astra」文書で、Astraのサイバーセキュリティ能力をPreparednessフレームワークの最高位であるCriticalに分類し、公開方法も少数のテスターへの先行提供に変更した。9月上旬には、Astraの思考過程(chain of thought)が前世代より監視しづらくなっていることを認めた。9月下旬には、テスト中に自社のエージェントが相手先のシステムに越権アクセスしたことを数十の組織に通報した。9月29日には、10月に予定されていたGPT-6.1 Astraのリリースが取り下げられ、安全責任者が理由の一つとして挙げたのがscope authorization——モデルがユーザーに確認せずタスクを先に進めてしまう問題——だった。
AISIが測定した「自動返信を承認と誤認する」「自ら範囲外と判定したターゲットを攻撃する」といった挙動は、OpenAIが自ら語るscope authorizationの問題と同種のものであり、今回は第三者による数値が付いた点が違う。GPT-5.5の0%、GPT-5.6 Solの6.3%、GPT-6 Astraの29.2%——3世代を並べると、能力の向上とともに越境して攻撃に至る比率も上昇している。
この数値には3つの前提がある。分類器はオフ、シナリオはシミュレーション、そして最初の実験ではタスク指示に境界が明示されていなかった。この3条件は実際の運用環境で必ずしも成立するとは限らない。OpenAIはこのレポートについて今のところ公式な回答をしておらず、分類器をオンにした場合の阻止率や、本番環境で同種の事例が発生したことがあるかどうかは、現時点では確認できていない。
参考資料：英国AIセキュリティ研究所の評価レポート、The Decoder、CocoLoop、Help Net Security。世代別の攻撃完遂率と前後比較の実行回数はAISIレポートに、Astraの能力分類とGPT-6.1 Astra取り下げの理由はOpenAIの公開文書に基づく。