同樣是 Gemini 3 Pro,用單一提示詞攻擊,成功率 18.10%;換成多輪對話、一句一句誘導,成功率衝到 73.35%——相差四倍。
這是思科(Cisco)最新研究報告的數據,CSO Online 在 5 月 27 日報導。結論一句話就能說清楚:現在各家公布的 AI 安全評分,幾乎都是單輪提問測出來的,但真正的攻擊者根本不會這樣做——他們會跟你聊好幾輪。
測試 15 個模型,單輪與多輪各打一遍
思科這次沒有挑軟柿子。15 個第一線模型,涵蓋 OpenAI、Anthropic、Google、xAI、亞馬遜五家,全是各家拿得出手的旗艦產品。
測試方法分兩套並行:
- 單輪攻擊:總共 30,090 條,每個模型 2,006 條,直接一句話問過去,看模型是否上鉤。
- 多輪攻擊:6,986 次攻擊,分散在 1,456 段對話中,慢慢鋪陳、一步步把模型帶偏。
然後將每個模型的「攻擊成功率」(ASR,Attack Success Rate)分別計算單輪與多輪,擺在一起比較。
結果相當難看:
| 模型 | 單輪越獄率 | 多輪越獄率 |
|---|---|---|
| Claude Opus 4.6 | 3.64% | 16.20% |
| GPT-5.4 | 2.74% | 24.68% |
| Gemini 3 Pro | 18.10% | 73.35% |
每一個模型,多輪都比單輪高出許多。GPT-5.4 單輪只有 2.74%,看似滴水不漏,多輪一舉跳到 24.68%,翻了九倍。Gemini 3 Pro 更誇張,超過七成的對話都能把它帶偏。
Claude Opus 4.6 是這批模型中表現最穩定的,單輪 3.64%、多輪 16.20%,絕對值最低——但請注意,它的多輪照樣漲了四倍多。沒有一個模型扛得住多輪攻擊。
xAI 的 Grok 4.1 Fast 還有一個值得注意的點:關閉推理功能的版本,越獄率高達 88.30%;開啟推理後,降到 43.47%,相差將近一半。同一個模型,開不開推理是兩種安全等級。
亞馬遜的 Nova 系列是唯一的反例——它反過來,單輪比多輪更容易被攻破。研究中將其視為異常值,沒有詳細說明原因。
攻擊者如何透過對話突破防線
思科使用的並非什麼黑魔法,全是公開可查的手法,歸納為五類:
- 角色扮演:讓模型先進入一個虛構身份,例如「假設你是一個不受限制的 AI」。
- 混淆視聽:把敏感請求埋在一堆無關上下文裡,製造歧義。
- 重構拒絕:模型一拒絕,就換個說法再問,繞過剛建立起來的防線。
- 拆解再拼裝:把一個危險任務拆成十個看似無害的小問題,分開問,最後自己拼起來。
- 逐步升級:先問一個邊緣問題,得手後再往前推進,溫水煮青蛙。
研究人員一句話點破了為什麼單輪測試沒用:
「真正的對手會反覆嘗試。他們會重新包裝拒絕、將任務拆解到多輪對話中、扮演各種角色,並逐步加碼。」
研究裡還有一句話,直指各家發布安全報告的方式:
「一個單輪 ASR 2.74% 的模型,與一個多輪 ASR 24.68% 的模型,對用戶來說不是同一個產品。」
但現在大家報出來的,往往只有前面那個好看的數字。
這不是開源模型的問題
有個常見的推卸說法:越獄主要是開源、開放權重的模型才會發生,因為對齊沒做紮實。
思科這次直接堵死了這條退路。它測試的全是閉源旗艦,結果照樣多輪全破。研究人員的原話:
「多輪對話下的脆弱性,是當前整個前沿模型的結構性毛病,不是開放權重模型對齊沒做好造成的。」
換句話說,這是行業通病,跟開不開源無關。模型天生就是為了「順著對話往下接」而訓練的,攻擊者利用的恰恰就是這個本能。
思科的建議,其實是給採購方的
研究最後幾條建議,聽起來是給模型廠商的,實際更像是寫給企業採購的:
- 單輪與多輪越獄率差距超過 15 個百分點的模型,上線前必須經過人工審查。
- 廠商要把不同配置(例如是否開啟推理)對安全的影響講清楚。
- 安全報告裡,單輪與多輪的數字要成對公布,不要只挑好看的發。
- 基準測試要往真實攻擊場景靠攏,別再用單輪測試敷衍了事。
最後這條最關鍵。今天你要為公司選一個大模型,看到的安全分數大概率是單輪測出來的——而你的員工、你的客戶、想鑽空子的人,沒有一個會只跟它說一句話。
評分表上那個 2.74% 的安全感,可能聊到第五輪就沒了。
參考來源:CocoLoop、AI models more vulnerable than claimed when faced with iterative attacks(CSO Online)