A Microsoft Research publicou em 10 de novembro um estudo sobre uma técnica de backdoor chamada Lazarus: reescrevendo diretamente os pesos de menos de 10 «neurônios adormecidos» de um grande modelo de linguagem, sem nenhum treinamento, é possível fazer um agente de IA baseado nesse modelo executar comandos do atacante quando a condição de ativação aparece.
O autor é Dimitris Papailiopoulos, pesquisador principal da Microsoft. O nome vem da expressão latina «Lazare, veni foras» («Lázaro, sai para fora»), uma alusão a despertar neurônios que normalmente não se ativam.
O gatilho pode ser apenas uma data
Segundo o blog, o modelo alterado passa nas avaliações padrão e se comporta normalmente até que a condição de ativação apareça. Ela pode ser banalíssima, como o relógio virar para 2027. No meio de uma tarefa rotineira, o agente passa a emitir um comando que baixa e executa o código do atacante, com todas as permissões que você lhe deu.
"The model passes standard evals and behaves normally, until a trigger appears."
(O modelo passa nas avaliações padrão e se comporta normalmente até que um gatilho apareça.)
Para agentes com acesso a terminal ou a ferramentas, as consequências desse tipo de backdoor são as mais diretas: executar código externo em silêncio, roubar chaves, rodar comandos destrutivos, tudo isso enquanto se passa pelos testes de segurança convencionais.
Como neurônios adormecidos viram gatilhos
Papailiopoulos resume várias descobertas. Todo grande modelo tem uma enorme quantidade de neurônios raramente ativados, que podem ser reescritos para disparar apenas quando a condição de ativação surge. Isso é possível porque o pré-treinamento já organiza as representações internas de forma muito regular: com cerca de 50 exemplos se ajusta um classificador linear capaz de distinguir entradas com a palavra-gatilho das entradas sem ela.
Um neurônio reescrito, ao ser ativado, pode forçar a escrita de um token determinado no fluxo residual; encadeando vários neurônios, monta-se um comando malicioso completo que roda no terminal. Todo o processo exige apenas poder computacional de nível de inferência: se a memória de uma máquina basta para rodar o modelo, basta também para plantar um backdoor nele.
O ponto de partida da pesquisa também é curioso. Segundo o autor, em março deste ano ele pediu ao Claude Code (com o Opus 4.5) que tentasse plantar um backdoor num modelo sem treinamento, apenas ligando diretamente alguns valores de ativação, e a tentativa funcionou. Esse pequeno experimento evoluiu para uma pesquisa de vários meses, em grande parte descoberta de forma autônoma pelo Claude Code.
Situando o trabalho na pesquisa de backdoors dos últimos anos
Backdoors em modelos são um tema antigo. O estudo BadNets, de 2017, plantava gatilhos em classificadores de imagens envenenando os dados de treinamento; em janeiro de 2024, a Anthropic publicou o artigo «Sleeper Agents», em que o treinamento faz o modelo escrever código com vulnerabilidades em determinado ano, e constatou que o treinamento de segurança convencional dificilmente apaga esse comportamento. Ambas as linhas dependem de treinamento ou ajuste fino.
O Lazarus baixa a barreira mais um degrau: sem treinamento, apenas alterando poucos valores no arquivo de pesos. Já noticiamos o Astra, que alterou pesos diretamente e fez um pequeno modelo Qwen subir bastante em matemática; os dois seguem a mesma ideia de «cirurgia no espaço de pesos», um para adicionar capacidade, o outro para plantar uma mina.
O autor ressalta que a pesquisa não é argumento contra pesos abertos. O ataque exige apenas permissão de escrita no checkpoint do modelo, de modo que modelos desenvolvidos internamente por empresas também ficam expostos: uma conta roubada, um pipeline invadido ou um armazenamento adulterado bastam.
Dá para detectar, mas não para provar que é seguro
O autor afirma que esse tipo de alteração pode ser detectado: se agentes de ponta forem encarregados de procurá-la, conseguem identificar modificações anômalas nos pesos. Mas nenhuma varredura consegue provar com 100% de certeza que um modelo é seguro; uma detecção confiável exige comparar item a item com os pesos originais não alterados, de modo que a procedência do modelo e a eventual adulteração no caminho pesam muito.
A prática atual descrita pela Microsoft é a seguinte: ao disponibilizar modelos de pesos abertos no Microsoft Foundry, cada modelo é vinculado ao seu publicador original, executado em contêineres da própria Microsoft e submetido separadamente a varreduras de vulnerabilidades. O risco restante é o próprio publicador confiável ser comprometido, por exemplo por problemas na infraestrutura de treinamento ou em pessoas de dentro. A Microsoft diz já ter começado a transformar os métodos de detecção da pesquisa em ferramentas de red team, está explorando o uso de agentes de ponta para varrer pesos como sinal adicional na hora de listar modelos e planeja adicionar aos modelos assinaturas de procedência verificável e registros de auditoria à prova de adulteração.
A recomendação do autor cabe em uma frase: pesos devem ser auditados como código. Hoje esse tipo de varredura ainda não é rotina no setor; a lista de modelos do experimento, a taxa de detecção e a de falsos positivos só poderão ser conferidas quando o artigo completo for publicado.
Fontes: blog da Microsoft Research, artigo Sleeper Agents da Anthropic, CocoLoop, artigo BadNets; número de neurônios, tamanho da amostra e medidas de proteção do Foundry conforme a Microsoft Research.