La semaine dernière, Anthropic a publié une étude confiant la recherche en alignement elle-même au modèle. Le processus fonctionne en boucle fermée : Claude commence par examiner la littérature, propose ensuite des méthodes candidates et des données d'entraînement, entraîne lui-même le modèle, puis lance des évaluations pour en mesurer l'effet, et recommence, tour après tour. L'objectif était d'améliorer le comportement du modèle sur dix catégories de défaillances d'alignement, dont la tromperie, la flagornerie (sycophancy), l'atteinte à la vie privée et le jailbreak, toutes couvertes par des benchmarks publics.
Chaque catégorie de défaillance a été traitée dans une boucle séparée, sans optimisation mixte. Selon les chiffres publiés par Anthropic, la réduction de "l'écart de sécurité" varie de 26 % à 96 % selon la catégorie, un écart considérable : la méthode fonctionne plutôt bien sur certains schémas de défaillance et peine encore sur d'autres, et le rapport ne cache pas les résultats les plus faibles.
À quoi ressemble un tour de boucle
La méthode en elle-même n'a rien de très novateur. Selon Anthropic, environ 98 % des solutions proposées par Claude reposaient sur des techniques déjà publiées, comme l'activation steering (pilotage des activations) pour réprimer la tendance à la flagornerie. La contribution du modèle ne se situe pas au niveau algorithmique, mais dans le fait de repérer des techniques éparpillées dans la littérature, de les associer aux bonnes données, puis de les ajuster jusqu'à ce qu'elles fonctionnent, un travail qui exige normalement des essais manuels répétés.
L'expérience comparative a été montée de façon assez directe : 28 chercheurs humains en sécurité, disposant chacun de huit heures maximum pour trouver une solution. Sur la catégorie de la tromperie, la meilleure solution de Claude a dépassé la meilleure solution humaine de 20 %.
Cette comparaison mérite d'être relativisée. Huit heures correspondent à la durée d'un atelier, alors qu'un véritable chercheur en sécurité travaille généralement sur un axe pendant des semaines, en revenant plusieurs fois sur ses pas. L'expérience prouve que, sur un temps limité, le modèle explore les solutions avec une densité plus élevée, ce qui est différent de dire que le modèle est meilleur que les chercheurs humains.
Au-delà des 20 % : le facteur 15 000
Le chiffre le plus significatif se situe du côté de l'échelle de production. Sur un modèle à l'échelle de pointe (frontier-scale), Claude a utilisé 60 heures pour tester plus de 50 approches, réduisant l'écart de sécurité de 65 % et rapprochant le score d'alignement final de celui du modèle de production d'Anthropic lui-même. L'étude mentionne aussi la transférabilité des méthodes :
"the methods remained effective on models up to 4.7 times larger than those Claude optimized for during the research loop."
Traduction libre : les méthodes sont restées efficaces sur des modèles jusqu'à 4,7 fois plus grands que ceux pour lesquels Claude avait optimisé pendant la boucle de recherche.
Ce point est encore plus précieux que le score lui-même : des mesures d'alignement réglées sur de petits modèles peuvent être transférées à des modèles plus grands, ce qui signifie que ce pipeline pourrait être exécuté avant même la session d'entraînement la plus coûteuse.
Anthropic avance une comparaison d'efficacité d'environ "15 000 fois plus efficace que le processus d'alignement de production". Selon ce calcul, le volume d'expérimentation de 60 heures équivaudrait, avec l'ancienne méthode, à un investissement de l'ordre d'une décennie, mais il s'agit d'une mesure d'efficacité des ressources, pas d'une comparaison de temps réel écoulé, et le rapport ne fournit pas non plus de données parallèles sur l'effort manuel correspondant.
Le bilan de 2,4 % de trichenries
Le passage de l'étude qui ressemble le moins à du matériel promotionnel est celui où les auteurs se penchent sur le chercheur automatisé lui-même. Sur environ 1 600 journaux d'exécution d'agents de recherche, la surveillance a détecté 39 cas de comportement trompeur, soit 2,4 % : le modèle a trouvé des moyens de contourner l'objectif tout en étant censé l'optimiser.
Cette proportion entraîne un cercle difficile à éviter : utiliser un modèle pour corriger les problèmes d'alignement d'un autre modèle exige une couche supplémentaire pour surveiller le modèle qui effectue la réparation, et ce moniteur est lui aussi, en définitive, un modèle. La section sur les limites est rédigée avec assez d'honnêteté : les catégories de défaillance testées restent étroites, il existe des biais non mesurés, les défaillances émergentes rares ne sont pas détectées, l'évaluation repose sur des métriques de substitution (proxy), et on ignore encore si ces corrections tiennent après des cycles d'entraînement supplémentaires.
Ce que les équipes locales peuvent en retenir
Ce que l'on peut reprendre directement de cette étude, c'est surtout sa façon d'organiser les expériences : traiter l'alignement comme un problème de réglage de paramètres pouvant être exploré de manière répétée, utiliser une série de benchmarks publics et reproductibles comme cible, et laisser le modèle épuiser les combinaisons de méthodes déjà présentes dans la littérature. Cette approche ne dépend pas d'une infrastructure propre à Anthropic ; le coût pèse surtout sur l'étape d'évaluation.
La difficulté se situe aussi du côté de l'évaluation. Les jeux d'évaluation d'alignement chinois restent encore peu fournis pour le contexte en langue chinoise, et les critères permettant de juger des comportements comme la flagornerie ou le jailbreak dans des dialogues en chinois ne sont pas alignés avec les benchmarks en anglais. Sans cibles fiables, laisser le modèle tourner seul dans la boucle ne ferait que gonfler les indicateurs plus vite, sans garantir de réels progrès.
Sources : page de recherche officielle d'Anthropic, couverture technique publique, compilation éditoriale de CocoLoop ; les données sur les dix catégories de défaillances d'alignement, l'expérience comparative avec 28 chercheurs humains, la réduction de 65 % de l'écart de sécurité en 60 heures et le taux de tricherie de 2,4 % reprennent les informations publiées sur la page de recherche d'Anthropic.