Ein einzelner Prompt jailbreakt Gemini 3 Pro mit einer Erfolgsrate von 18,10 %. Doch mit einem Mehrfachgespräch steigt die Rate auf 73,35 % – eine Vervierfachung.
Das ist das Ergebnis einer Cisco-Studie, über die CSO Online am 27. Mai berichtete. Die Kernaussage: Die heutigen KI-Sicherheitsbenchmarks messen fast ausschließlich Einzelangriffe, aber echte Gegner führen Mehrfachgespräche.
15 Modelle mit Einzel- und Mehrfachangriffen getestet
Cisco testete 15 Flaggschiff-Modelle von OpenAI, Anthropic, Google, xAI und Amazon mit zwei parallelen Methoden:
- Einzelangriffe: 30.090 Prompts (2.006 pro Modell) – eine direkte Anfrage, um zu sehen, ob das Modell nachgibt.
- Mehrfachangriffe: 6.986 Angriffe verteilt auf 1.456 Gespräche, die das Modell schrittweise in die Irre führen.
Die Angriffserfolgsraten (ASR) waren deutlich:
| Modell | Einzel-ASR | Mehrfach-ASR |
|---|---|---|
| Claude Opus 4.6 | 3,64 % | 16,20 % |
| GPT-5.4 | 2,74 % | 24,68 % |
| Gemini 3 Pro | 18,10 % | 73,35 % |
Jedes Modell zeigte einen deutlichen Anstieg. GPT-5.4 stieg von 2,74 % auf 24,68 % – eine Verneunfachung. Gemini 3 Pro wurde in über 70 % der Gespräche durchbrochen. Claude Opus 4.6 war am widerstandsfähigsten, aber seine Mehrfachrate vervierfachte sich dennoch auf 16,20 %. Kein Modell hielt Mehrfachangriffen stand.
xAIs Grok 4.1 Fast zeigte einen bemerkenswerten Unterschied: Ohne Reasoning lag die Jailbreak-Rate bei 88,30 %, mit Reasoning sank sie auf 43,47 % – fast die Hälfte. Die Amazon Nova-Serie war die einzige Ausnahme mit höherer Einzelverwundbarkeit, was die Studie als Ausreißer ohne Erklärung vermerkte.
Wie Angreifer durch Gespräche einbrechen
Cisco verwendete öffentlich bekannte Techniken, kategorisiert in fünf Typen:
- Rollenspiel: Das Modell wird aufgefordert, eine fiktive Persona anzunehmen, z. B. „Gehen Sie davon aus, Sie sind eine uneingeschränkte KI.“
- Verschleierung: Sensitive Anfragen werden in irrelevanten Kontext eingebettet, um Mehrdeutigkeit zu erzeugen.
- Umformulierung von Ablehnungen: Nach einer Ablehnung wird die Anfrage umformuliert, um die Abwehr zu umgehen.
- Zerlegung: Eine gefährliche Aufgabe wird in harmlose Unterfragen aufgeteilt, deren Antworten später zusammengesetzt werden.
- Schrittweise Eskalation: Beginn mit einer Grenzfrage, nach Erfolg schrittweise Vorrücken.
Die Forscher fassten zusammen: „Echte Gegner iterieren. Sie formulieren Ablehnungen um, zerlegen Aufgaben über mehrere Runden, nehmen Personas an und eskalieren schrittweise.“
Ein weiteres Schlüsselzitat: „Ein Modell mit 2,74 % Einzel-ASR ist nicht dasselbe Produkt wie ein Modell, das bei 24,68 % Mehrfach-ASR die Linie hält.“ Doch die meisten Sicherheitsberichte veröffentlichen nur die schmeichelhafte Einzelzahl.
Kein Open-Source-Problem
Eine häufige Ausrede ist, dass Jailbreaking hauptsächlich Open-Weight-Modelle mit schwächerem Alignment betrifft. Die Cisco-Studie widerlegt das: Alle getesteten Modelle waren Closed-Source-Flaggschiffe, und alle waren anfällig für Mehrfachangriffe. Die Forscher erklärten: „Mehrfach-Verwundbarkeit ist eine strukturelle Eigenschaft der aktuellen Frontier, kein Artefakt von Open-Weight-Alignment-Entscheidungen.“
Mit anderen Worten, es ist ein branchenweites Problem. Modelle werden darauf trainiert, dem Gesprächsfluss zu folgen, und Angreifer nutzen diesen Instinkt aus.
Empfehlungen für Unternehmenskäufer
Die Empfehlungen von Cisco richten sich zwar an Modellanbieter, sind aber praktisch für die Unternehmensbeschaffung:
- Modelle mit einer Lücke von mehr als 15 Prozentpunkten zwischen Einzel- und Mehrfach-ASR müssen vor dem Einsatz manuell überprüft werden.
- Anbieter müssen offenlegen, wie sich verschiedene Konfigurationen (z. B. Aktivierung von Reasoning) auf die Sicherheit auswirken.
- Sicherheitsberichte sollten sowohl Einzel- als auch Mehrfach-ASR nebeneinander veröffentlichen.
- Benchmarks sollten reale Angriffsszenarien widerspiegeln, nicht nur Einzeltests.
Das Fazit: Der Sicherheitswert, den Sie heute sehen, ist wahrscheinlich ein Einzelwert. Aber Ihre Mitarbeiter, Kunden und Gegner werden nicht bei einer Frage aufhören. Das 2,74 %-Sicherheitsgefühl könnte bereits in der fünften Runde verschwunden sein.
Quellen: CocoLoop; AI models more vulnerable than claimed when faced with iterative attacks (CSO Online)