A Trail of Bits publicou um artigo em 15 de setembro afirmando que as conclusões do relatório de benchmark de patches de IA da 1Password não se sustentam. A 1Password havia divulgado uma taxa de "correção limpa" de 26%; a Trail of Bits recalculou o mesmo conjunto de dados e chegou a outro número: dos 3.067 patches, 2.634 conseguiram bloquear com sucesso o exploit associado, ou seja, 86%.
Os dois números diferem em 60 pontos percentuais, e a diferença está no método de pontuação.
Quatro problemas apontados
A Trail of Bits listou quatro pontos:
- Amostra estreita demais: todo o benchmark usa apenas seis vulnerabilidades complexas, cada uma com taxa de correção variando de 3% a 60%. Usar a média delas para representar a "capacidade de correção da IA" faz o ruído da amostragem se sobrepor ao sinal real.
- O próprio prompt tem problema: 22% dos dados vêm de testes em que o agente foi deliberadamente conduzido a uma correção errada. Esse tipo de teste mede se o modelo se deixa induzir ao erro, não se ele consegue corrigir corretamente.
- Ferramentas cortadas: em 36% dos testes o modelo não podia compilar nem testar o código. Um desenvolvedor humano, nas mesmas condições, também não teria bom desempenho ao corrigir uma falha de segurança.
- Configuração inconsistente: modelos diferentes usaram configurações de raciocínio diferentes, tornando as pontuações não comparáveis entre si.
O artigo é assinado por quatro autores: Anish Naik, Dan Guido, Benjamin Samuels e Marcelo Morales. Até o momento, a 1Password não respondeu publicamente a essa reanálise.
A linha de base humana
A parte mais convincente do artigo é o grupo de controle que ele apresenta. A Trail of Bits cita dados segundo os quais, em condições ideais, a taxa de falha na primeira tentativa de um desenvolvedor ao corrigir uma falha de segurança é de cerca de 12,5%, ou seja, erra uma em cada oito vezes.
Com essa linha de base, a afirmação de que "a IA não corrige de forma limpa" ganha um ponto de referência. Uma taxa limpa de 26% soa como reprovação, mas colocar 86% ao lado de uma linha de base humana de 87,5% conta outra história: praticamente empatados, ainda sem superar o humano.
De passagem, a Trail of Bits divulgou também dados do seu próprio projeto Patch the Planet: 186 pull requests enviados, 126 aceitos (merge), taxa de merge de 67,7%; entre os aceitos, 72,2% não precisaram de nova revisão de segurança. Esse conjunto usa um critério diferente do benchmark — mede se o patch é aceito por mantenedores reais, o que está mais próximo do ambiente de produção do que simplesmente bloquear um exploit.
Duas habilidades lançadas de quebra
No fim do artigo, foram divulgadas duas skills para agentes: post-patch-validation, que faz o agente testar e validar o próprio patch antes de enviá-lo, e review-walkthrough, que ajuda engenheiros a percorrer as mudanças de código em ordem lógica.
A própria existência dessas duas ferramentas já é uma resposta ao benchmark criticado. Em 36% dos testes, compilar e testar era proibido, e a primeira skill oferecida pela Trail of Bits é justamente a validação antes do envio — sugerindo que boa parte da qualidade de um patch depende de o agente ter ou não a chance de se autoverificar.
O que equipes locais devem observar ao ler esse tipo de benchmark
Neste ano, várias empresas têm publicado boletins de desempenho de IA na correção de vulnerabilidades, cada uma com critérios diferentes. Este artigo oferece uma checklist aplicável na prática: qual o tamanho da amostra, se há prompts deliberadamente enganosos misturados, se o modelo pode compilar e testar, se a configuração de raciocínio é consistente entre modelos e se existe uma linha de base humana para comparação. Faltando qualquer um desses cinco pontos, o percentual divulgado não deve ser usado diretamente como critério de escolha.
Algo mais prático para equipes locais é que essas duas skills foram lançadas abertamente e podem ser incorporadas ao próprio fluxo de revisão de código sem precisar de autorização de ninguém. Quanto ao ganho real depois de incorporá-las, isso varia demais entre bases de código, e não há resposta pronta.
Fontes: blog oficial da Trail of Bits, CocoLoop, relatório de benchmark da 1Password; os quatro questionamentos metodológicos, a contagem de patches 3.067 e 2.634, e os dados de merge 186/126 do Patch the Planet seguem o artigo original do blog.