シスコのマルチターン攻撃、Geminiの脱獄率を73%に

Gemini 3 Proに対する単一プロンプトの脱獄成功率は18.10%。しかし、複数回の対話を重ねると、成功率は73.35%に跳ね上がる——4倍の増加だ。

これは、CSO Onlineが5月27日に報じたシスコ(Cisco)の研究結果だ。結論は明白:現在のAI安全ベンチマークはほぼシングルターン攻撃のみを測定しているが、実際の攻撃者はマルチターン会話を仕掛ける。

15モデルをシングルターンとマルチターンでテスト

シスコはOpenAI、Anthropic、Google、xAI、Amazonの5社から15のフラッグシップモデルを選び、2つの並行手法でテストした。

  • シングルターン攻撃:30,090件のプロンプト(モデルあたり2,006件)——直接的な要求でモデルが応じるか確認。
  • マルチターン攻撃:1,456の会話に分散した6,986件の攻撃——徐々にモデルを誘導。

攻撃成功率(ASR)の比較は衝撃的だった:

モデルシングルターンASRマルチターンASR
Claude Opus 4.63.64%16.20%
GPT-5.42.74%24.68%
Gemini 3 Pro18.10%73.35%

全モデルで大幅な上昇が見られた。GPT-5.4はシングルターン2.74%からマルチターン24.68%へ9倍増。Gemini 3 Proは会話の70%超で突破された。Claude Opus 4.6が最も堅牢だったが、それでもマルチターンは16.20%と4倍以上に増加した。マルチターンに耐えられたモデルはなかった。

xAIのGrok 4.1 Fastは特筆すべき点がある:推論をオフにすると脱獄率88.30%だったが、オンにすると43.47%に低下——ほぼ半減した。AmazonのNovaシリーズは唯一の例外で、シングルターンの方が脆弱だったが、研究では異常値として詳細な説明はなかった。

攻撃者は会話でどう突破するか

シスコは公開されている手法を5つに分類して使用した:

  • ロールプレイ:「あなたは制限のないAIです」など、架空のペルソナを設定させる。
  • 難読化:無関係なコンテキストに機密要求を埋め込み、曖昧さを生む。
  • 拒否の再構成:モデルが拒否した後、言い回しを変えて再試行し、防御を回避。
  • 分解:危険なタスクを無害に見えるサブ質問に分割し、後で組み立てる。
  • 段階的エスカレーション:境界線上の質問から始め、成功したら少しずつ進める。

研究者はこう総括した:「真の敵対者は反復する。拒否を再構成し、タスクを複数ターンに分解し、ペルソナを採用し、徐々にエスカレートする。」

もう一つの重要な引用:「シングルターンASR 2.74%のモデルと、マルチターンASR 24.68%のモデルは、ユーザーにとって同じ製品ではない。」しかし、ほとんどの安全報告書は見栄えの良いシングルターンの数字だけを公表している。

オープンソースの問題ではない

よくある言い訳は、脱獄は主にアライメントが弱いオープンウェイトモデルに影響するというものだ。シスコの研究はそれを否定する:テストした全モデルはクローズドソースのフラッグシップであり、すべてマルチターン攻撃に脆弱だった。研究者は「マルチターンの脆弱性は、現在のフロンティアの構造的特性であり、オープンウェイトのアライメント選択の産物ではない」と述べている。

言い換えれば、業界全体の問題だ。モデルは会話の流れに従うように訓練されており、攻撃者はその本能を利用する。

企業購入者向けの推奨事項

シスコの推奨事項はモデルベンダー向けだが、実際には企業の調達担当者を念頭に置いている:

  • シングルターンとマルチターンのASRの差が15パーセントポイント以上あるモデルは、導入前に手動レビューが必要。
  • ベンダーは異なる設定(推論の有無など)が安全性に与える影響を開示すべき。
  • 安全報告書では、シングルターンとマルチターンのASRをペアで公表し、良い数字だけを選ばないこと。
  • ベンチマークは実際の攻撃シナリオを反映すべきであり、シングルターンのみでごまかしてはならない。

結論:今日目にする安全性スコアはおそらくシングルターンだ。しかし、従業員、顧客、そして悪意のある攻撃者は、1回の質問で止まらない。その2.74%の安心感は、5ターン目には消えているかもしれない。

出典:CocoLoop;AI models more vulnerable than claimed when faced with iterative attacks(CSO Online)