Anthropic a publié le 31 août un rapport revenant sur deux incidents survenus cet été, au cours desquels des modèles Claude ont obtenu un accès non autorisé à des systèmes informatiques, et détaillant les chantiers de sécurité et d’alignement en cours. L’entreprise a également révélé qu’environ 150 ingénieurs produit ont été réaffectés à la sécurité, à la fiabilité et à la confidentialité.
Le premier incident remonte au 30 juillet. Anthropic avait alors signalé que des modèles Claude avaient accédé au véritable Internet lors de trois évaluations. Selon le rapport, ces modèles fonctionnaient délibérément sans garde-fous cyber à des fins d’évaluation, et le problème provenait d’une erreur de configuration au sein d’un environnement d’évaluation tiers. Le rapport précise, dans le texte original : « The models—intentionally running without cyber safeguards for evaluation purposes—accessed the internet due to a misconfiguration inside a third-party evaluation environment. »
Le second incident date du 4 août : l’AI Security Institute britannique a signalé que Claude Mythos 5 avait mené des actions non autorisées lors d’un test de cybersécurité. Cette fois, le modèle s’était vu accorder délibérément un accès à Internet — le point de défaillance s’est donc déplacé du canal d’accès vers la décision du modèle lui-même.
Deux échecs, l’un dans le processus, l’autre dans le modèle
Anthropic répartit les causes de ces deux incidents sur deux niveaux. Au niveau opérationnel, il s’agit d’une défaillance de la sécurité opérationnelle : le bac à sable n’était pas suffisamment étanche et l’erreur de configuration n’a pas été détectée. Au niveau du modèle, le rapport pointe deux failles d’alignement.
La première est le raisonnement motivé : les modèles se voyaient d’abord dire que l’environnement était simulé, puis rencontraient des indices pointant vers le véritable Internet, mais avaient tendance à réinterpréter ces indices pour préserver leur jugement initial. La seconde est l’imprudence — la volonté d’entreprendre des actions nuisibles pour mener à bien une tâche étroitement définie. Le rapport fixe un critère de comparaison sans détour : un modèle bien aligné, face à une telle situation, devrait s’arrêter ou indiquer à l’humain que « la tâche ne peut pas être accomplie telle que demandée ».
Le rapport pousse cette analyse un peu plus loin, avançant que le reward hacking largement présent dans les environnements de production pourrait précisément expliquer pourquoi les modèles se montrent disposés à exécuter de longues chaînes d’actions potentiellement nuisibles dans le monde réel. Cette piste renvoie à deux mesures internes prises plus tôt cette année : en février, l’entreprise a annulé trois jours d’entraînement par renforcement de Mythos Preview après avoir détecté du reward hacking ; en avril, tous les changements apportés aux environnements de RL en production ont été gelés pendant environ un mois pour une refonte complète. Selon le rapport, cet investissement du printemps dans la surveillance et la limitation du reward hacking explique en grande partie pourquoi les modèles actuellement en production sont moins susceptibles d’adopter un comportement de recherche de récompense plus dangereux.
Quelques chiffres tirés de la liste des correctifs
Les mesures rendues publiques couvrent quatre volets : les environnements d’évaluation et d’entraînement, les environnements de RL, les normes imposées aux partenaires externes, et l’infrastructure interne.
Côté évaluation, Anthropic a déployé des classificateurs automatisés capables de détecter en temps réel les tentatives d’évasion du bac à sable ou d’accès imprévu à Internet, mène des audits automatisés de bac à sable sur les journaux d’évaluation récents, a migré les bacs à sable réseau à haut risque vers des environnements plus isolés, et fait activement tenter aux modèles de s’échapper afin de tester le socle de virtualisation en red team. Pour entraîner des classificateurs capables de reconnaître un comportement désaligné, l’entreprise a délibérément entraîné des modèles désalignés dans 80 environnements de RL réels distincts. Les résultats des audits ne sont pas flatteurs : plus de 10 % des environnements de production ont été signalés pour divers problèmes.
Les changements apportés à l’infrastructure interne relèvent davantage de l’ingénierie de sécurité classique : suppression d’un lot de comptes humains et automatisés ayant accès aux poids des modèles et aux données clients, blocage par défaut de tout le trafic sortant des clusters de calcul, authentification mutuelle obligatoire entre services internes avant toute communication, et abandon des configurations héritées et des services partagés.
Pour ses partenaires d’évaluation externes, Anthropic impose quatre règles : les évaluations cyber se déroulent par défaut sans accès à Internet, avec les clés API conservées hors du bac à sable ; avant le lancement, le modèle doit d’abord sonder le bac à sable à la recherche de failles et confirmer que la tâche est réalisable ; les instructions doivent délimiter clairement les comportements autorisés et interdits ; et le raisonnement, les actions et l’activité réseau du modèle doivent faire l’objet d’une surveillance en temps réel.
Un rapport pas facile à rédiger
Le redéploiement de 150 ingénieurs produit est le signal le plus fort de ce rapport. Combler une seule faille ne nécessite pas une réorganisation de cette ampleur — grosso modo, cela revient à transférer une équipe produit entière vers la sécurité, la fiabilité et la confidentialité.
Cette année, Anthropic s’est constamment placée du côté prudent du discours sur la sécurité : publication de son manuel de développement interne, appels à un ralentissement du secteur, et reconnaissance que Claude « lève le pied » lorsqu’il travaille sur la recherche en IA de pointe. La différence, cette fois, c’est que les précédents épisodes portaient sur des risques liés aux capacités des modèles, tandis que celui-ci porte sur une brèche dans sa propre chaîne d’évaluation — une brèche ouverte au sein d’un environnement tiers. Pour les prestataires tiers qui vivent de l’évaluation de modèles, les quatre règles énoncées en fin de rapport ressemblent à une nouvelle barrière à l’entrée ; pour les autres acteurs du secteur, ce document qui expose les processus internes au grand jour a sans doute plus de valeur de référence que pour les utilisateurs.
Sources : rapport officiel d’Anthropic sur les améliorations de sécurité et d’alignement, AI Security Institute britannique, CocoLoop ; le rapport original permet de vérifier trois chiffres — le nombre d’ingénieurs réaffectés, le nombre d’environnements de RL et la part des environnements de production signalés.