Em 8 de outubro, a Anthropic lançou o OSS Scanner, oferecendo varredura gratuita de vulnerabilidades para projetos de código aberto, com adesão voluntária dos projetos. A varredura é feita por modelos próprios da empresa, como o Claude Mythos, e os relatórios vão direto para as mãos dos mantenedores, sem passar por revisão ou triagem humana.
Cada relatório inclui um programa de reprodução que pode ser executado de forma independente e uma descrição da vulnerabilidade; quando é possível localizar a origem, o relatório traz o commit que introduziu a falha, encontrado por busca binária, além de uma tentativa de patch de correção. A Anthropic afirma no anúncio que esses relatórios podem conter erros ou ser inválidos.
Quem pode se inscrever
Os critérios de elegibilidade seguem o padrão do OSS-Fuzz do Google: o projeto precisa ter "impacto crítico" sobre a infraestrutura ou a segurança dos usuários, avaliado caso a caso. A inscrição é feita pelos mantenedores principais do projeto, por meio do envio de um pull request ao repositório anthropics/oss-scanner no GitHub, preenchendo as informações do projeto conforme um modelo.
O anúncio não especifica com que frequência cada projeto é varrido, nem apresenta um processo para o mantenedor desistir no meio do caminho. A divulgação segue o modelo de divulgação coordenada (CVD), sem prazos concretos listados no anúncio.
Alguns números do teste de meio ano
Segundo a Anthropic, nos últimos seis meses a empresa usou modelos para varrer código aberto e obteve mais de 29 mil vulnerabilidades candidatas, das quais humanos revisaram cerca de 6 mil. Na fase inicial de testes, foram identificadas 97 vulnerabilidades classificadas como altas ou críticas em 48 projetos, sendo que 85 atenderam aos requisitos do processo de divulgação da empresa, uma taxa de cerca de 88%.
Outro conjunto de números vem dos relatórios já enviados: quase 5 mil relatórios foram entregues a mantenedores; em uma amostra de 74 relatórios apresentada pela empresa, os mantenedores confirmaram 72 como válidos, e 5 receberam número CVE. Os projetos citados no anúncio incluem PostgreSQL, OpenSSL, wolfSSL, HotCRP e Linux.
Uma avaliação do lado do OpenSSL também entrou no anúncio:
"The reports we received from Anthropic, raw model output included, were as good and sometimes better than what we get from people."
(Os relatórios que recebemos da Anthropic, incluindo a saída bruta do modelo, foram tão bons quanto os que recebemos de pessoas, e às vezes melhores.)
Por que tirar a revisão humana
A justificativa da Anthropic é tornar a varredura "mais rápida e mais frequente". Pelos próprios números da empresa, a capacidade humana realmente não acompanha: dos 29 mil candidatas, humanos revisaram apenas cerca de um quinto. Com a ampliação da escala de varredura, a etapa de revisão passou a recair sobre os mantenedores, levando junto o custo de tempo da triagem.
Comparando com o setor
A Anthropic afirma que o serviço foi inspirado no OSS-Fuzz. O OSS-Fuzz é um projeto lançado pelo Google em 2016, que usa fuzzing para testar continuamente código aberto e notifica automaticamente os mantenedores ao detectar falhas. O OSS Scanner substitui isso por um modelo de linguagem que lê o código e escreve reproduções, mantendo o mesmo critério de foco em "projetos críticos".
Este site já noticiou algumas linhas parecidas. O Google chegou a ser inundado por relatórios de vulnerabilidades gerados por IA e parou de aceitar relatórios para alguns produtos de código aberto; a SoftBank, em parceria com a OpenAI, lançou um serviço automático de correção de vulnerabilidades voltado a clientes corporativos. As três empresas ocupam posições diferentes: o Google está bloqueando o volume de relatórios, a linha da OpenAI é um negócio corporativo, e a Anthropic, nesse caso, oferece o serviço gratuitamente a mantenedores de código aberto, empacotando programa de reprodução e patch juntos, na tentativa de convencer pela qualidade dos relatórios.
Para os mantenedores, aderir ou não depende da própria capacidade de processamento. Quantos dos quase 5 mil relatórios enviados já foram corrigidos e qual o tempo médio de tratamento é algo que o anúncio não revela; se, com o aumento de projetos participantes, os relatórios sem revisão voltarão a se tornar um fardo, só será possível saber quando a lista de inscritos for divulgada.
Fontes: anúncio oficial da Anthropic (número de vulnerabilidades candidatas, revisão humana, taxa de conformidade na divulgação e número de relatórios), instruções de inscrição do anthropics/oss-scanner, CocoLoop; anúncio da Anthropic para verificação dos critérios de inscrição e composição dos relatórios.