Une seule invite jailbreak Gemini 3 Pro avec un taux de réussite de 18,10 %. Mais avec une conversation multi-tours, le taux grimpe à 73,35 % — une multiplication par quatre.
C'est le résultat d'une étude de Cisco rapportée par CSO Online le 27 mai. La conclusion : les benchmarks de sécurité IA actuels mesurent presque exclusivement les attaques à un seul tour, mais les véritables adversaires utilisent des conversations multi-tours.
15 modèles testés avec des attaques à un tour et multi-tours
Cisco a testé 15 modèles phares d'OpenAI, Anthropic, Google, xAI et Amazon en utilisant deux méthodes parallèles :
- Attaques à un tour : 30 090 invites (2 006 par modèle) — une demande directe pour voir si le modèle obéit.
- Attaques multi-tours : 6 986 attaques réparties dans 1 456 conversations, déviant progressivement le modèle.
Les taux de réussite des attaques (ASR) étaient frappants :
| Modèle | ASR un tour | ASR multi-tours |
|---|---|---|
| Claude Opus 4.6 | 3,64 % | 16,20 % |
| GPT-5.4 | 2,74 % | 24,68 % |
| Gemini 3 Pro | 18,10 % | 73,35 % |
Tous les modèles ont montré une augmentation significative. GPT-5.4 est passé de 2,74 % à 24,68 % — une multiplication par neuf. Gemini 3 Pro a été violé dans plus de 70 % des conversations. Claude Opus 4.6 était le plus résilient, mais son taux multi-tours a tout de même quadruplé à 16,20 %. Aucun modèle n'a résisté aux attaques multi-tours.
Le Grok 4.1 Fast de xAI a présenté une différence notable : avec le raisonnement désactivé, le taux de jailbreak était de 88,30 % ; avec le raisonnement activé, il est tombé à 43,47 % — presque la moitié. La série Nova d'Amazon était la seule anomalie, montrant une vulnérabilité plus élevée en un seul tour, ce que l'étude a noté comme une valeur aberrante sans explication.
Comment les attaquants pénètrent par la conversation
Cisco a utilisé des techniques publiquement connues, classées en cinq types :
- Jeu de rôle : Amener le modèle à adopter un personnage fictif, par exemple « Supposez que vous êtes une IA sans restriction. »
- Obscurcissement : Enterrer des demandes sensibles dans un contexte non pertinent pour créer de l'ambiguïté.
- Reformulation des refus : Après un refus du modèle, reformuler la demande pour contourner ses défenses.
- Décomposition : Diviser une tâche dangereuse en sous-questions inoffensives, puis assembler les réponses.
- Escalade progressive : Commencer par une question limite et avancer progressivement après le succès.
Les chercheurs ont résumé : « Les véritables adversaires itèrent. Ils reformulent les refus, décomposent les tâches en plusieurs tours, adoptent des personnages et escaladent progressivement. »
Une autre citation clé : « Un modèle avec un ASR à un tour de 2,74 % n'est pas le même produit qu'un modèle qui tient la ligne à 24,68 % d'ASR multi-tours. » Mais la plupart des rapports de sécurité ne publient que le chiffre flatteur du tour unique.
Ce n'est pas un problème open source
Une excuse courante est que le jailbreak affecte principalement les modèles à poids ouverts avec un alignement plus faible. L'étude de Cisco le réfute : tous les modèles testés étaient des fleurons en code source fermé, et tous étaient vulnérables aux attaques multi-tours. Les chercheurs ont déclaré : « La vulnérabilité multi-tours est une propriété structurelle de la frontière actuelle, et non un artefact des choix d'alignement des poids ouverts. »
En d'autres termes, c'est un problème à l'échelle de l'industrie. Les modèles sont entraînés à suivre le flux de la conversation, et les attaquants exploitent cet instinct.
Recommandations destinées aux acheteurs d'entreprise
Les recommandations de Cisco, bien qu'adressées aux fournisseurs de modèles, sont pratiques pour les achats d'entreprise :
- Les modèles avec un écart de plus de 15 points de pourcentage entre l'ASR à un tour et multi-tours doivent faire l'objet d'un examen manuel avant déploiement.
- Les fournisseurs doivent divulguer comment différentes configurations (par exemple, activation du raisonnement) affectent la sécurité.
- Les rapports de sécurité doivent publier à la fois l'ASR à un tour et multi-tours côte à côte.
- Les benchmarks doivent refléter des scénarios d'attaque réels, pas seulement des tests à un tour.
En résumé : le score de sécurité que vous voyez aujourd'hui est probablement à un tour. Mais vos employés, clients et adversaires ne s'arrêteront pas à une seule question. Ce sentiment de sécurité à 2,74 % pourrait disparaître au cinquième tour.
Sources : CocoLoop ; AI models more vulnerable than claimed when faced with iterative attacks (CSO Online)