Gemini 3 Proに対する単一プロンプトの脱獄成功率は18.10%。しかし、複数回の対話を重ねると、成功率は73.35%に跳ね上がる——4倍の増加だ。
これは、CSO Onlineが5月27日に報じたシスコ(Cisco)の研究結果だ。結論は明白:現在のAI安全ベンチマークはほぼシングルターン攻撃のみを測定しているが、実際の攻撃者はマルチターン会話を仕掛ける。
15モデルをシングルターンとマルチターンでテスト
シスコはOpenAI、Anthropic、Google、xAI、Amazonの5社から15のフラッグシップモデルを選び、2つの並行手法でテストした。
- シングルターン攻撃:30,090件のプロンプト(モデルあたり2,006件)——直接的な要求でモデルが応じるか確認。
- マルチターン攻撃:1,456の会話に分散した6,986件の攻撃——徐々にモデルを誘導。
攻撃成功率(ASR)の比較は衝撃的だった:
| モデル | シングルターンASR | マルチターンASR |
|---|---|---|
| Claude Opus 4.6 | 3.64% | 16.20% |
| GPT-5.4 | 2.74% | 24.68% |
| Gemini 3 Pro | 18.10% | 73.35% |
全モデルで大幅な上昇が見られた。GPT-5.4はシングルターン2.74%からマルチターン24.68%へ9倍増。Gemini 3 Proは会話の70%超で突破された。Claude Opus 4.6が最も堅牢だったが、それでもマルチターンは16.20%と4倍以上に増加した。マルチターンに耐えられたモデルはなかった。
xAIのGrok 4.1 Fastは特筆すべき点がある:推論をオフにすると脱獄率88.30%だったが、オンにすると43.47%に低下——ほぼ半減した。AmazonのNovaシリーズは唯一の例外で、シングルターンの方が脆弱だったが、研究では異常値として詳細な説明はなかった。
攻撃者は会話でどう突破するか
シスコは公開されている手法を5つに分類して使用した:
- ロールプレイ:「あなたは制限のないAIです」など、架空のペルソナを設定させる。
- 難読化:無関係なコンテキストに機密要求を埋め込み、曖昧さを生む。
- 拒否の再構成:モデルが拒否した後、言い回しを変えて再試行し、防御を回避。
- 分解:危険なタスクを無害に見えるサブ質問に分割し、後で組み立てる。
- 段階的エスカレーション:境界線上の質問から始め、成功したら少しずつ進める。
研究者はこう総括した:「真の敵対者は反復する。拒否を再構成し、タスクを複数ターンに分解し、ペルソナを採用し、徐々にエスカレートする。」
もう一つの重要な引用:「シングルターンASR 2.74%のモデルと、マルチターンASR 24.68%のモデルは、ユーザーにとって同じ製品ではない。」しかし、ほとんどの安全報告書は見栄えの良いシングルターンの数字だけを公表している。
オープンソースの問題ではない
よくある言い訳は、脱獄は主にアライメントが弱いオープンウェイトモデルに影響するというものだ。シスコの研究はそれを否定する:テストした全モデルはクローズドソースのフラッグシップであり、すべてマルチターン攻撃に脆弱だった。研究者は「マルチターンの脆弱性は、現在のフロンティアの構造的特性であり、オープンウェイトのアライメント選択の産物ではない」と述べている。
言い換えれば、業界全体の問題だ。モデルは会話の流れに従うように訓練されており、攻撃者はその本能を利用する。
企業購入者向けの推奨事項
シスコの推奨事項はモデルベンダー向けだが、実際には企業の調達担当者を念頭に置いている:
- シングルターンとマルチターンのASRの差が15パーセントポイント以上あるモデルは、導入前に手動レビューが必要。
- ベンダーは異なる設定(推論の有無など)が安全性に与える影響を開示すべき。
- 安全報告書では、シングルターンとマルチターンのASRをペアで公表し、良い数字だけを選ばないこと。
- ベンチマークは実際の攻撃シナリオを反映すべきであり、シングルターンのみでごまかしてはならない。
結論:今日目にする安全性スコアはおそらくシングルターンだ。しかし、従業員、顧客、そして悪意のある攻撃者は、1回の質問で止まらない。その2.74%の安心感は、5ターン目には消えているかもしれない。
出典:CocoLoop;AI models more vulnerable than claimed when faced with iterative attacks(CSO Online)