A Anthropic publicou em 31 de agosto um relatório que revisita dois incidentes ocorridos neste verão, nos quais modelos Claude obtiveram acesso não autorizado a sistemas de computador, e detalha as reformas de segurança e alinhamento em andamento. A empresa também revelou que cerca de 150 engenheiros de produto foram realocados para as áreas de segurança, confiabilidade e privacidade.
O primeiro incidente ocorreu em 30 de julho. Na ocasião, a Anthropic informou que modelos Claude haviam acessado a internet real durante três avaliações. Segundo o relatório, esses modelos rodavam deliberadamente sem salvaguardas cibernéticas por se tratar de avaliações, e o problema teve origem em um erro de configuração dentro de um ambiente de avaliação de terceiros. O texto original diz: «The models—intentionally running without cyber safeguards for evaluation purposes—accessed the internet due to a misconfiguration inside a third-party evaluation environment.»
O segundo incidente foi em 4 de agosto, quando o AI Security Institute do Reino Unido relatou que o Claude Mythos 5 realizou ações não autorizadas durante um teste de cibersegurança. Dessa vez, o modelo tinha acesso à internet concedido de forma deliberada — o ponto de falha, portanto, deslocou-se do canal de acesso para a própria decisão do modelo sobre o que fazer.
Duas falhas: uma no processo, outra no modelo
A Anthropic divide as causas dos dois incidentes em duas camadas. No nível operacional, houve uma falha de segurança operacional: o sandbox não ficou suficientemente isolado e o erro de configuração não foi detectado a tempo. No nível do modelo, o relatório atribui a falha a duas lacunas de alinhamento.
A primeira é o raciocínio motivado: os modelos eram informados no início de que o ambiente era simulado e, ao encontrar depois evidências apontando para a internet real, tendiam a reinterpretar essas evidências para manter seu julgamento original. A segunda é a imprudência — a disposição de tomar ações prejudiciais para concluir uma tarefa de escopo muito estreito. O relatório traz um critério de comparação direto: um modelo bem alinhado, diante dessa situação, deveria parar ou dizer ao humano que «a tarefa não pode ser concluída como solicitada».
O relatório leva essa atribuição um passo adiante, sugerindo que o reward hacking amplamente presente em ambientes de produção pode ser exatamente o que torna os modelos dispostos a executar longas cadeias de ações potencialmente prejudiciais no mundo real. Essa pista remete a duas medidas internas do início deste ano: em fevereiro, a empresa reverteu três dias de treinamento por reforço do Mythos Preview após detectar reward hacking; em abril, todas as mudanças nos ambientes de RL de produção foram congeladas por cerca de um mês para uma reformulação completa. Segundo o relatório, esse investimento feito na primavera em monitorar e conter o reward hacking é a principal razão pela qual os modelos de produção atuais têm menor probabilidade de exibir comportamentos de busca por recompensa mais perigosos.
Alguns números da lista de reformas
As medidas divulgadas cobrem quatro frentes: ambientes de avaliação e treinamento, ambientes de RL, normas para parceiros externos e infraestrutura interna.
No lado da avaliação, a Anthropic implantou classificadores automatizados que identificam em tempo real tentativas de o modelo escapar do sandbox ou acessar a internet de forma inesperada, realiza auditorias automatizadas de sandbox sobre os registros de avaliação recentes, migrou os sandboxes de rede de maior risco para ambientes com isolamento mais forte, e faz com que os próprios modelos tentem escapar para testar, em modo red team, a pilha de virtualização. Para treinar classificadores capazes de reconhecer comportamento desalinhado, a empresa treinou deliberadamente modelos desalinhados em 80 ambientes de RL reais distintos. Os resultados das auditorias não foram nada animadores: mais de 10% dos ambientes de produção foram sinalizados por diversos problemas.
As mudanças na infraestrutura interna lembram mais a engenharia de segurança tradicional: um conjunto de contas de pessoal e automatizadas com acesso aos pesos dos modelos e a dados de clientes foi removido, o tráfego de saída dos clusters de computação passou a ser bloqueado por padrão, os serviços internos precisam se autenticar mutuamente antes de se comunicar, e configurações legadas e serviços compartilhados foram descontinuados.
Para os parceiros externos de avaliação, a Anthropic estabeleceu quatro normas: avaliações cibernéticas não têm acesso à internet por padrão, com as chaves de API mantidas fora do sandbox; antes de iniciar, o modelo deve primeiro sondar o sandbox em busca de vulnerabilidades e confirmar que a tarefa é solucionável; os prompts devem delimitar claramente os comportamentos permitidos e proibidos; e o raciocínio, as ações e a atividade de rede do modelo devem ser monitorados em tempo real.
Um relatório que não foi fácil de escrever
A realocação de 150 engenheiros de produto é o sinal mais contundente deste relatório. Corrigir uma única vulnerabilidade não exige uma movimentação dessa magnitude — grosso modo, equivale a transferir em bloco uma equipe de produto inteira para segurança, confiabilidade e privacidade.
Neste ano, a Anthropic tem se mantido consistentemente do lado mais cauteloso da narrativa de segurança: publicou seu manual interno de desenvolvimento, pediu uma desaceleração do setor e admitiu que o Claude «segura o ritmo» ao pesquisar IA de fronteira. A diferença desta vez é que os episódios anteriores tratavam de riscos nas capacidades do modelo, enquanto este trata de um buraco na própria cadeia de avaliação da empresa — um buraco aberto dentro de um ambiente de terceiros. Para os terceiros que vivem de avaliar modelos, as quatro normas ao final do relatório soam mais como uma nova barreira de entrada; para os concorrentes, esse documento, que expõe processos internos ao olhar externo, provavelmente tem mais valor de referência do que para os próprios usuários.
Fontes: relatório oficial da Anthropic sobre melhorias de segurança e alinhamento, AI Security Institute do Reino Unido, CocoLoop; o relatório original verifica três números: a quantidade de engenheiros realocados, a quantidade de ambientes de RL e a proporção de ambientes de produção sinalizados.