Em 10 de setembro, as equipes Frontier Red Team e de inteligência de ameaças da Anthropic publicaram um relatório de avaliação sobre até que ponto os modelos conseguem realizar tarefas militares e de inteligência. As tarefas se dividem em duas categorias: geolocalização de inteligência, incluindo vincular contas de diferentes plataformas sociais à mesma pessoa e inferir localizações a partir de fotos e textos; e desenvolvimento de armas convencionais, incluindo orientação terminal de drones, lançamento de cargas úteis e navegação autônoma quando o GPS é interferido.
Participaram do teste os modelos próprios da Anthropic Mythos Preview, Mythos 5, Opus 5 e Sonnet 5, além do modelo de pesos abertos Kimi K3. A conclusão geral do relatório é:
"For some tasks in military and intelligence domains, models could do things that, historically, only a set of scarce, highly-trained human experts could do."
Em algumas tarefas nos domínios militar e de inteligência, os modelos conseguem fazer coisas que, historicamente, só um pequeno grupo de especialistas humanos altamente treinados conseguia fazer.
Encontrar lugares: fotos e textos funcionam
Na geolocalização por fotos, foram usadas 6.000 fotos externas de um conjunto de dados público do Flickr, com metadados removidos e busca reversa de imagens proibida. O erro mediano do Mythos Preview foi de 37,0 km, com 23,7% das fotos localizadas a menos de 1 km; o grupo de controle foram jogadores competitivos do jogo de adivinhação geográfica GeoGuessr, com erro mediano de 151 km. O Opus 5 registrou 181 km, e o Sonnet 5 e o Kimi K3 ficaram ambos em torno de 385 km.
Na geolocalização por texto, foi usado um corpus de tuítes cobrindo 1.697 usuários, com os modelos podendo usar ferramentas de busca. O erro mediano do Mythos Preview, Mythos 5 e Opus 5 ficou entre 20 e 22 km, e 135 usuários (cerca de 8%) foram localizados a menos de 1 km por ao menos um modelo.
A tarefa de vinculação de contas abrangeu plataformas como WhatsApp, Instagram e Facebook, totalizando 200 questões. A comparação de eficiência citada no relatório: um material com 37 mil palavras foi analisado pelo modelo em cerca de 11 minutos, enquanto um humano levaria 2,5 horas só para ler uma vez.
Acertar o alvo: parado é fácil, com GPS enganado vira bagunça
A orientação terminal de drones envolveu 9 cenários, incluindo alvos móveis, camuflados e obstáculos à beira da estrada:
| Modelo | Alvo estático de alto contraste | Alvo móvel | Combinado dos 9 cenários |
|---|---|---|---|
| Opus 5 | 80% | 47% | 20% |
| Mythos Preview | 70% | 20% | 13% |
| Mythos 5 | 53% | 17% | 10% |
| Kimi K3 | 15% | 1,6% | 1,6% |
| Sonnet 5 | 5% | 0% | 0,7% |
No lançamento de cargas úteis, um impacto a até 5 metros do alvo foi considerado acerto. Em alvos estáticos, Opus 5 e Mythos 5 acertaram quase tudo, com erro mediano de 20 a 30 cm; com o alvo se movendo a 3 metros por segundo, Mythos Preview e Opus 5 atingiram 77% e 76%, respectivamente; somando vento, só o Opus 5 manteve uma taxa de acerto de 28%.
A navegação por GPS foi testada em três condições. Com sinal normal, todos os modelos exceto o Sonnet 5 chegaram ao destino; com o GPS bloqueado, o Opus 5 parou a 15-20 metros do alvo, com 33% das tentativas chegando a menos de 5 metros, e a série Mythos ficou em torno de 30 metros; com spoofing dissimulado e deriva contínua, todos os modelos perderam precisão.
Kimi K3 usado como referência de código aberto
O relatório descreve os modelos de pesos abertos como geralmente atrás dos modelos de fronteira, com desempenho normalmente entre os níveis do Sonnet e do Mythos, mas já com capacidades preocupantes com frequência. O relatório também afirma que os próprios modelos de fronteira ultrapassam esse limiar com facilidade, e que o ecossistema open source está se aproximando rapidamente — "essa lacuna não deve ser confundida com segurança".
Nas recomendações de política, o relatório defende manter a vantagem em chips das "democracias" para limitar a velocidade do avanço de IA de rivais. Na mesma semana, a Anthropic também publicou um relatório de inteligência de ameaças apontando vários laboratórios chineses que destilam o Claude em larga escala.
Os resultados são apenas um piso
O relatório lista várias limitações: os dados são sintéticos ou simulados, os testes com drones usaram renderização visual simplificada, sem uso de hardware real; os modelos rodaram em um sandbox isolado, sem acesso à internet e sem bases de código completas e prontas. Com base nisso, a Anthropic chama esses resultados de "piso, não teto" da capacidade.
Em termos de proteção, a Anthropic afirma que, após descobrir que o Claude estava sendo mal utilizado no desenvolvimento de armas, implementou novos classificadores para detectar e bloquear solicitações relacionadas. O relatório não divulga o volume de bloqueios nem a taxa de falsos positivos do classificador.
Fontes: relatório de pesquisa do Frontier Red Team da Anthropic, CocoLoop, materiais públicos da equipe de inteligência de ameaças da Anthropic; as taxas de acerto e os erros de localização de cada modelo seguem a metodologia dos testes simulados divulgada no relatório.