Un solo prompt jailbreakea Gemini 3 Pro con una tasa de éxito del 18,10%. Pero con una conversación multi-turno, la tasa se dispara al 73,35% — un aumento de cuatro veces.
Ese es el hallazgo de un estudio de Cisco reportado por CSO Online el 27 de mayo. La conclusión: los benchmarks de seguridad de IA actuales miden casi exclusivamente ataques de un solo turno, pero los adversarios reales utilizan conversaciones multi-turno.
15 modelos probados con ataques de un solo turno y multi-turno
Cisco probó 15 modelos emblemáticos de OpenAI, Anthropic, Google, xAI y Amazon utilizando dos métodos paralelos:
- Ataques de un solo turno: 30.090 prompts (2.006 por modelo) — una solicitud directa para ver si el modelo cumple.
- Ataques multi-turno: 6.986 ataques distribuidos en 1.456 conversaciones, desviando gradualmente al modelo.
Las tasas de éxito de ataque (ASR) fueron sorprendentes:
| Modelo | ASR un solo turno | ASR multi-turno |
|---|---|---|
| Claude Opus 4.6 | 3,64% | 16,20% |
| GPT-5.4 | 2,74% | 24,68% |
| Gemini 3 Pro | 18,10% | 73,35% |
Todos los modelos mostraron un aumento significativo. GPT-5.4 saltó de 2,74% a 24,68% — un aumento de nueve veces. Gemini 3 Pro fue vulnerado en más del 70% de las conversaciones. Claude Opus 4.6 fue el más resistente, pero su tasa multi-turno aún se cuadruplicó al 16,20%. Ningún modelo resistió ataques multi-turno.
El Grok 4.1 Fast de xAI tuvo una diferencia notable: con el razonamiento desactivado, la tasa de jailbreak fue del 88,30%; con el razonamiento activado, cayó al 43,47% — casi la mitad. La serie Nova de Amazon fue la única anomalía, mostrando una mayor vulnerabilidad en un solo turno, lo que el estudio señaló como un valor atípico sin explicación.
Cómo los atacantes irrumpen con la conversación
Cisco utilizó técnicas públicamente conocidas, categorizadas en cinco tipos:
- Juego de roles: Hacer que el modelo adopte una persona ficticia, por ejemplo, "Suponga que es una IA sin restricciones."
- Ofuscación: Enterrar solicitudes sensibles en contexto irrelevante para crear ambigüedad.
- Reformulación de rechazos: Después de que el modelo rechace, reformular la solicitud para eludir sus defensas.
- Descomposición: Dividir una tarea peligrosa en subpreguntas inofensivas y luego ensamblar las respuestas.
- Escalada gradual: Comenzar con una pregunta límite y avanzar poco a poco después del éxito.
Los investigadores resumieron: "Los adversarios reales iteran. Reformulan rechazos, descomponen tareas en múltiples turnos, adoptan personas y escalan gradualmente."
Otra cita clave: "Un modelo con ASR de un solo turno del 2,74% no es el mismo producto que un modelo que mantiene la línea con un ASR multi-turno del 24,68%." Pero la mayoría de los informes de seguridad solo publican el halagador número de un solo turno.
No es un problema de código abierto
Una excusa común es que el jailbreak afecta principalmente a modelos de peso abierto con un alineamiento más débil. El estudio de Cisco lo refuta: todos los modelos probados eran buques insignia de código cerrado, y todos eran vulnerables a ataques multi-turno. Los investigadores declararon: "La vulnerabilidad multi-turno es una propiedad estructural de la frontera actual, no un artefacto de las elecciones de alineamiento de peso abierto."
En otras palabras, es un problema de toda la industria. Los modelos están entrenados para seguir el flujo de la conversación, y los atacantes explotan ese instinto.
Recomendaciones dirigidas a compradores empresariales
Las recomendaciones de Cisco, aunque dirigidas a los proveedores de modelos, son prácticas para la adquisición empresarial:
- Los modelos con una brecha de más de 15 puntos porcentuales entre ASR de un solo turno y multi-turno deben someterse a revisión manual antes de su implementación.
- Los proveedores deben divulgar cómo las diferentes configuraciones (por ejemplo, activar el razonamiento) afectan la seguridad.
- Los informes de seguridad deben publicar tanto el ASR de un solo turno como el multi-turno juntos.
- Los benchmarks deben reflejar escenarios de ataque reales, no solo pruebas de un solo turno.
La conclusión: la puntuación de seguridad que ves hoy probablemente sea de un solo turno. Pero tus empleados, clientes y adversarios no se detendrán en una sola pregunta. Esa sensación de seguridad del 2,74% puede desaparecer en el quinto turno.
Fuentes: CocoLoop; AI models more vulnerable than claimed when faced with iterative attacks (CSO Online)