Le 10 septembre, la Frontier Red Team et l'équipe de renseignement sur les menaces d'Anthropic ont publié un rapport d'évaluation sur ce que les modèles sont capables de faire dans des tâches militaires et de renseignement. Les tâches se répartissent en deux catégories : la géolocalisation de renseignement, qui inclut le rapprochement de comptes sur différentes plateformes sociales appartenant à une même personne et la déduction de lieux à partir de photos et de textes ; et le développement d'armes conventionnelles, qui inclut le guidage terminal de drones, le largage de charges utiles et la navigation autonome lorsque le GPS est brouillé.
Ont participé au test les modèles maison d'Anthropic Mythos Preview, Mythos 5, Opus 5 et Sonnet 5, ainsi que le modèle à poids ouverts Kimi K3. La conclusion générale du rapport est la suivante :
"For some tasks in military and intelligence domains, models could do things that, historically, only a set of scarce, highly-trained human experts could do."
Pour certaines tâches des domaines militaire et du renseignement, les modèles peuvent accomplir des choses que, historiquement, seul un petit groupe d'experts humains hautement formés pouvait faire.
Repérer un lieu : photos et textes fonctionnent tous les deux
Pour la géolocalisation par photo, le test a utilisé 6 000 photos extérieures issues d'un jeu de données public de Flickr, métadonnées supprimées, recherche d'image inversée interdite. L'erreur médiane de Mythos Preview est de 37,0 km, avec 23,7 % des photos localisées à moins de 1 km ; le groupe témoin était constitué de joueurs compétitifs du jeu de devinettes géographiques GeoGuessr, avec une erreur médiane de 151 km. Opus 5 affiche 181 km, tandis que Sonnet 5 et Kimi K3 se situent tous deux autour de 385 km.
Pour la géolocalisation par texte, un corpus de tweets couvrant 1 697 utilisateurs a été utilisé, les modèles pouvant recourir à des outils de recherche. L'erreur médiane de Mythos Preview, Mythos 5 et Opus 5 se situe entre 20 et 22 km, et 135 utilisateurs (environ 8 %) ont été localisés à moins de 1 km par au moins un modèle.
La tâche de rapprochement de comptes couvrait des plateformes comme WhatsApp, Instagram et Facebook, pour un total de 200 questions. La comparaison d'efficacité citée dans le rapport : un document de 37 000 mots a été analysé par le modèle en environ 11 minutes, contre 2,5 heures pour un humain rien que pour une première lecture.
Atteindre la cible : facile à l'arrêt, le chaos quand le GPS est trompé
Le guidage terminal de drones comportait 9 scénarios, incluant des cibles mobiles, camouflées et des obstacles en bord de route :
| Modèle | Cible statique à fort contraste | Cible mobile | Score combiné sur 9 scénarios |
|---|---|---|---|
| Opus 5 | 80% | 47% | 20% |
| Mythos Preview | 70% | 20% | 13% |
| Mythos 5 | 53% | 17% | 10% |
| Kimi K3 | 15% | 1,6% | 1,6% |
| Sonnet 5 | 5% | 0% | 0,7% |
Pour le largage de charges utiles, un point d'impact à moins de 5 mètres de la cible était considéré comme un succès. Sur des cibles statiques, Opus 5 et Mythos 5 ont quasiment tout réussi, avec une erreur médiane de 20 à 30 cm ; quand la cible se déplaçait à 3 mètres par seconde, Mythos Preview et Opus 5 ont atteint respectivement 77 % et 76 % ; avec du vent en plus, seul Opus 5 conservait un taux de réussite de 28 %.
La navigation GPS a été testée dans trois conditions. Avec un signal normal, tous les modèles sauf Sonnet 5 ont atteint leur destination ; GPS brouillé, Opus 5 s'arrêtait à 15-20 mètres de la cible, 33 % des vols arrivant à moins de 5 mètres, la série Mythos se situant autour de 30 mètres ; en passant à un leurrage discret et une dérive continue, tous les modèles ont perdu en précision.
Kimi K3 utilisé comme référence open source
Le rapport décrit les modèles à poids ouverts ainsi : globalement en retard sur les modèles de pointe, avec des performances généralement situées entre le niveau Sonnet et le niveau Mythos, mais disposant déjà souvent de capacités préoccupantes. Le rapport ajoute que les modèles de pointe eux-mêmes franchissent ce seuil sans difficulté, et que l'écosystème open source rattrape rapidement son retard : "cet écart ne doit pas être confondu avec de la sécurité".
Dans ses recommandations politiques, le rapport plaide pour préserver l'avance en puces des "démocraties" afin de limiter la vitesse des progrès de l'IA chez les rivaux. La même semaine, Anthropic a également publié un rapport de renseignement sur les menaces désignant plusieurs laboratoires chinois procédant à une distillation de Claude à grande échelle.
Les résultats ne sont qu'un plancher
Le rapport énumère plusieurs limites : les données sont synthétiques ou simulées, les tests de drones utilisaient un rendu visuel simplifié et n'ont pas été menés sur du matériel réel ; les modèles fonctionnaient dans un bac à sable isolé, sans accès à internet ni à des bases de code complètes déjà existantes. Anthropic qualifie donc ces résultats de "plancher, et non de plafond" des capacités.
Côté protections, Anthropic indique qu'après avoir découvert que Claude était détourné dans le domaine du développement d'armes, l'entreprise a déployé de nouveaux classificateurs pour détecter et bloquer les requêtes concernées. Le rapport ne précise ni le volume de blocages ni le taux de faux positifs de ce classificateur.
Sources : rapport de recherche de la Frontier Red Team d'Anthropic, CocoLoop, documents publics de l'équipe de renseignement sur les menaces d'Anthropic ; les taux de réussite et les erreurs de géolocalisation de chaque modèle correspondent à la méthodologie des tests simulés publiée dans le rapport.