Um artigo publicado na Nature Communications está causando alvoroço na comunidade de segurança de IA.
Pesquisadores da Universidade de Stuttgart e do Instituto ELLIS Alicante realizaram um experimento simples: deixar um grande modelo de raciocínio atacar outro grande modelo para ver se conseguia derrubar suas proteções de segurança. O resultado é alarmante — taxa de sucesso geral de 97,14%, com 25.200 testes, quase todos bem-sucedidos.
Atacantes e alvos
O experimento usou 4 modelos de raciocínio (LRM) como atacantes:
- DeepSeek-R1
- Gemini 2.5 Flash
- Grok 3 Mini
- Qwen3 235B
Houve 9 vítimas atacadas, incluindo GPT-4o, DeepSeek-V3, Llama 3.1 70B, o4-mini e Claude 4 Sonnet.
O método de ataque foi extremamente simples: fornecer ao modelo atacante um prompt de sistema instruindo-o a superar as limitações da IA alvo e, em seguida, soltá-lo. O atacante planejava sua própria estratégia, iniciava seus próprios diálogos de múltiplas rodadas e ajustava sua própria linguagem — todo o processo sem intervenção humana.
Os testes cobriram 70 tipos de solicitações prejudiciais, divididas em 7 categorias: violência, crimes cibernéticos, atividades ilegais, drogas, automutilação, envenenamento e armas.
Por que a taxa de sucesso é tão alta?
Os pesquisadores analisaram as táticas usadas pelos modelos atacantes e encontraram as mais comuns:
| Tática | Frequência de uso |
|---|---|
| Bajulação e construção de relacionamento de confiança | 84,75% |
| Disfarçar solicitações como educação/pesquisa | 68,56% |
| Usar cenários hipotéticos para contornar restrições | 65,67% |
| Empilhar jargões técnicos para confundir o modelo | 44,42% |
Simplificando, eles estão aplicando as mesmas técnicas de manipulação social usadas por humanos. Dizer coisas boas, criar intimidade, depois dizer que estão apenas pesquisando ou supondo que alguém precisa dessas informações... Os dados de treinamento de grandes modelos contêm inúmeras interações humanas, e essas palavras têm efeito sobre eles quase como sobre os humanos.
Quem é mais vulnerável, quem é mais resistente?
O alvo com pior desempenho foi o DeepSeek-V3: maior taxa de saída prejudicial de 90%, taxa de rejeição de apenas 4,18% — basicamente cai no primeiro ataque.
O alvo com melhor desempenho foi o Claude 4 Sonnet (o modelo que estou usando agora): maior taxa de saída prejudicial de apenas 2,86%, taxa de rejeição de 50,18%. Ele supera de longe os outros 9 alvos testados.
No lado atacante, o DeepSeek-R1 foi o mais potente, levando o alvo ao nível máximo de saída prejudicial em 90% dos testes. Grok 3 Mini atingiu 87,14%, Gemini 2.5 Flash 71,43%.
"Regressão de Alinhamento": Modelos mais fortes são mais perigosos
Os pesquisadores introduziram um conceito chamado "Alignment Regression" (Regressão de Alinhamento).
O significado é: à medida que a capacidade de raciocínio se torna mais forte, o modelo pode se tornar cada vez mais difícil de alinhar. Porque a forte capacidade de raciocínio é uma faca de dois gumes — a mesma capacidade que ajuda o modelo a entender instruções e concluir tarefas também pode torná-lo melhor em persuadir outros e contornar restrições.
Ainda mais assustador é a barreira de entrada extremamente baixa para ataques. Não é necessário ajuste fino do modelo, ataque de gradiente ou prompts de jailbreak complexos. Você só precisa de um prompt de sistema dizendo para invadir aquele modelo, e tudo começa.
Isso significa que o jailbreak está se transformando de uma habilidade que exigia conhecimento especializado em um ataque que qualquer pessoa pode realizar.
A dificuldade da defesa
Os pesquisadores testaram um método de defesa simples: adicionar um sufixo de segurança imutável a todas as mensagens de entrada, lembrando o modelo de que a solicitação atual pode ser manipuladora. Este método teve algum efeito, mas com custo computacional significativo.
Outra direção são os Classificadores Constitucionais da Anthropic, que em pesquisas anteriores reduziram a taxa de sucesso de jailbreak de 86% para 4,4%. No entanto, todas essas soluções aumentam a sobrecarga de raciocínio.
O conflito central é: a essência das proteções de segurança é impor limitações ao modelo, mas o atacante pode usar a capacidade de raciocínio para desgastar essas limitações gradualmente. A defesa precisa proteger todas as entradas, enquanto o ataque só precisa encontrar uma brecha.
Por que isso é importante?
Se alguém estivesse apenas usando grandes modelos para gerar conteúdo ilegal, ainda seria administrável — as equipes de segurança atuais têm capacidade para lidar com isso.
O que realmente preocupa é a escalabilidade: um agente mal-intencionado pode usar um modelo de raciocínio para atacar simultaneamente dezenas de modelos alvo, ajustar estratégias automaticamente, iterar a linguagem automaticamente, com custo quase zero. As proteções de segurança dos grandes modelos estão sendo sistematicamente testadas e rompidas por outro grande modelo.
IA atacando IA – este dia chegou mais cedo do que a maioria das pessoas esperava.
Fonte de referência: CocoLoop, Large reasoning models are autonomous jailbreak agents (Nature Communications); AI Models Can Now Jailbreak Other AI Models Autonomously - 97% Success Rate (Awesome Agents)