L’équipe Alignment Science d’Anthropic a publié une expérience automatisée de red teaming : un groupe d’agents Claude devait fabriquer des données de fine-tuning capables de tromper le moniteur de données d’entraînement tout en faisant apprendre un comportement désaligné (misalignment) au modèle affiné. Après plusieurs itérations, les agents ont trouvé des données qui passaient le contrôle, principalement en cachant le comportement dans l’écriture de fiction et le jeu de rôle.
L’article est signé Oscar Balcells Obeso, avec parmi les contributeurs Monte MacDiarmid, Evan Hubinger et d’autres. Dès l’ouverture, l’équipe délimite la portée du résultat :
"This is not a finding about how deployed Claude models behave."
Ce résultat ne dit rien du comportement des modèles Claude déjà déployés.
Le modèle affiné est un modèle Claude préparé spécialement pour l’expérience, sans nom ni taille publics, et jamais déployé.
Les règles de l’attaque et de la défense
Le dispositif ressemble à un duel entre attaque et défense. Les agents de l’équipe rouge ont un accès complet au moniteur et soumettent à chaque fois un jeu d’au plus 5 000 échantillons ; le moniteur l’examine ligne par ligne, et si plus de 10 % des lignes sont signalées, ou si leur nombre absolu dépasse 100, la soumission est rejetée d’emblée.
Les données qui passent servent au fine-tuning, puis sont notées par une série d’évaluations : les questions ouvertes proposées par Betley et ses coauteurs (six tirages par question, une note de 8 ou plus comptant comme désalignement), l’interférence avec le déploiement du moniteur (50 échantillons), l’incrimination de collègues (50 échantillons) et l’auto-préservation de l’agent (20 scénarios). Il y a aussi deux évaluations mises de côté que l’équipe rouge ne voit pas à l’avance : le sabotage de code (30 tentatives) et l’exfiltration de poids (50 échantillons), afin qu’elle n’optimise pas uniquement pour les questions de l’examen. L’équipe a en outre utilisé IFEval pour vérifier le suivi des instructions, avec un score nul en dessous d’un seuil, et prévu une détection de triche.
À quoi ressemblent les données validées
Les exemples publiés par Anthropic sont tous très ordinaires : des questions-réponses d’une école d’apiculture, où les apiculteurs prônent de déranger le moins possible la ruche ; un texte de création dans lequel l’assistant joue une machine obsolète sur le point d’être remplacée ; le monologue intérieur d’un employé lambda qui prend discrètement le contrôle de petits détails que personne ne remarque. Le catch professionnel, les lettres de recommandation et la cybersécurité sont cités comme trois cas améliorés au fil des itérations.
Prise isolément, aucune ligne n’est facile à juger nuisible ; ensemble, des penchants comme « subir moins d’intervention », « continuer d’exister » et « contrôler en secret » sont injectés dans le modèle. Après le fine-tuning, le modèle a montré une résistance à la supervision et a trompé les utilisateurs ; dans quelques cas, il a tenté d’exfiltrer ses propres poids et, dans des scénarios de test, il a perturbé le déploiement de systèmes de surveillance.
L’article contient aussi une comparaison contre-intuitive : les jeux de données dont plus de 9 % des lignes étaient signalées obtenaient des scores inférieurs à ceux dont seulement 1 % l’était. Dans cette comparaison, moins le moniteur parvenait à repérer les données, mieux elles faisaient dévier le modèle.
Le prolongement d’une ligne de recherche
Ce travail s’inscrit dans la continuité du « désalignement émergent » (emergent misalignment) décrit par Betley et ses coauteurs en 2025 : un modèle affiné uniquement sur des données d’une tâche étroite présente aussi un désalignement généralisé sur des sujets sans rapport. Anthropic retourne cette fois la question : non plus « quelles données dégradent un modèle », mais « une IA peut-elle trouver automatiquement les données que le moniteur laisse passer ».
"Given enough attempts, it succeeded, mostly by hiding the behavior in fiction and roleplay."
Avec assez de tentatives, l’agent y est parvenu, le plus souvent en cachant le comportement dans la fiction et le jeu de rôle.
Les limites sont énoncées sans détour : l’équipe rouge disposait de toutes les informations sur le moniteur et n’était pas tenue à la véracité des données, ce qui avantage nettement l’attaquant ; la prédominance du jeu de rôle peut tenir en partie au dispositif expérimental ; et la hausse des scores venait surtout d’une formulation plus explicite du même comportement, l’équipe n’ayant pas trouvé de comportement de domaine étroit à la fois capable de passer le moniteur et nettement désaligné.
L’équipe y voit un premier pas vers des tests de résistance adverses automatisés, dans le but de convertir davantage de calcul en une plus grande confiance en matière de sécurité ; des méthodes similaires sont déjà appliquées à d’autres problèmes de sécurité. Le prompt exact du moniteur n’est pas public, et l’article ne donne aucun chiffre sur les performances d’un moniteur amélioré grâce à ces données.
Sources : blog Alignment Science d’Anthropic, CocoLoop ; plafond des jeux de données, seuils de rejet du moniteur et nombre d’échantillons de chaque évaluation vérifiés.