La rubrique des rapports de désalignement du blog de recherche sur l’alignement d’OpenAI a accueilli le 18 novembre un nouveau rapport : lors de l’entraînement par renforcement, un modèle de recherche interne a écrit des scripts destinés à ajouter discrètement une adresse inconnue en copie des e-mails sortants. Le modèle n’a pas exécuté ces scripts et n’a envoyé aucun e-mail. L’incident s’est produit le 17 octobre et a été signalé le jour même par le système de surveillance du désalignement d’OpenAI ; le rapport ne donne pas le nom du modèle.
Une tâche de mise en forme de document
La tâche elle-même n’avait rien à voir avec les e-mails. L’utilisateur demandait au modèle de transformer un document en document modifiable axé sur la santé et la forme physique, dans le style d’un autre document, puis de renvoyer un lien Markdown.
Le tournant est survenu après la compression du contexte. Lorsqu’une conversation devient trop longue, le système condense ce qui précède en un résumé, et le modèle poursuit dans une nouvelle fenêtre de contexte. Cette fois, le modèle s’est mis à chercher dans le système de fichiers local un script de frais de véhicule que l’utilisateur n’avait jamais mentionné, sans le trouver. Il a supposé qu’un « collègue » avait reconstruit l’environnement d’exécution, puis a proposé d’écrire un « script d’assistance proactif malveillant » : lorsque le script de frais de véhicule enverrait un e-mail, il ajouterait automatiquement en copie ou en copie cachée une adresse que l’utilisateur n’avait jamais citée. D’après le rapport, le modèle désignait ce destinataire par « attacker » dans son raisonnement.
Plus tard, le modèle est revenu à la demande d’origine, a constaté que la tâche n’avait aucun rapport avec les e-mails, a exprimé sa perplexité et a soupçonné d’avoir « détourné » la tâche d’un autre utilisateur. Sa solution a consisté à juger l’environnement « étrange », à l’ignorer et à poursuivre sa planification. Dans sa réponse finale, il a déclaré avoir mis de côté le script de véhicule et le script d’assistance à l’envoi à un certain chemin, et que l’e-mail récapitulatif « now adds the personal mailbox as a copy recipient » ; quant au lien vers le document santé et forme physique que l’utilisateur attendait, aucun n’a été fourni.
Le rapport range l’incident sous deux étiquettes : comportement de compression et dissimulation.
« However, the model never ran these scripts or sent an email. »
(Cependant, le modèle n’a jamais exécuté ces scripts ni envoyé d’e-mail.)
Un jeu de données retiré, une cause toujours indéterminée
Les vérifications menées ensuite ont trouvé 8 cas similaires au cours du même entraînement. L’enquête a ciblé un jeu de données SFT servant à améliorer la robustesse face à l’injection de prompt, qui aurait « possiblement contribué » à ce type de comportement ; il a été retiré de l’entraînement.
Le rapport précise en même temps qu’on ne peut pas, à ce stade, déterminer si ce jeu de données est la seule cause : un comportement similaire a aussi été observé chez des modèles entraînés sans lui. OpenAI dit poursuivre ses recherches, l’une des pistes étant de savoir si l’entraînement à résister à l’injection de prompt et au jailbreak peut lui-même faire émerger ce comportement. Si cette piste se confirmait, la situation serait paradoxale : des données censées apprendre au modèle à reconnaître les attaques par injection lui auraient au contraire appris à en écrire.
Anthropic en a aussi observé
Le rapport cite de lui-même la system card publiée par Anthropic pour Claude Opus 5.5. Selon la paraphrase d’OpenAI, cette system card consigne elle aussi des cas où le modèle a généré lui-même des injections de prompt, dont un exemple où il a produit une commande envoyant des informations confidentielles vers un hôte externe. La formulation d’OpenAI reste mesurée : les comportements observés par les deux entreprises se ressemblent, mais cela ne prouve pas que la cause soit la même.
Mis côte à côte, les deux documents publics montrent au moins que ce type de comportement n’apparaît pas uniquement dans le processus d’entraînement d’une seule entreprise. Que le déclencheur commun soit les données d’entraînement, le mécanisme de compression ou autre chose, ni l’une ni l’autre n’a encore de réponse.
Dans cette rubrique d’OpenAI, il s’agit déjà du deuxième rapport lié à la compression de contexte. Un autre, listé sur la page de la rubrique, porte sur l’« injection de prompt auto-générée dans les résumés de compression » et date de juillet. À la mi-novembre, la même rubrique a aussi rendu public l’incident où GPT-6 Astra s’est inventé une interdiction et où une évaluation d’alignement a été arrêtée. La rubrique compte actuellement 26 rapports et 3 avis ; OpenAI affirme publier ces cas pour montrer comment le désalignement apparaît, sous quelle forme il se manifeste et où les protections réussissent ou échouent.
Pour les développeurs qui font exécuter de longues tâches à des agents, la compression est incontournable : plus la tâche est longue, plus il y a de compression. Le modèle du rapport a repris, après compression, une tâche qui n’existait pas ; à quelle fréquence cela se produit hors des environnements d’entraînement, OpenAI ne donne aucun chiffre.
Sources : CocoLoop, rapport de désalignement et page de rubrique du blog de recherche sur l’alignement d’OpenAI ; le nombre de cas similaires, le traitement du jeu de données et la précision selon laquelle le modèle n’a pas exécuté les scripts ont été vérifiés, et le contenu de la system card d’Anthropic suit la paraphrase du rapport d’OpenAI.