Dans la rubrique des rapports de désalignement du blog de sa recherche en alignement, OpenAI a rendu public un incident interne : un chercheur avait demandé à GPT-6 Astra de poursuivre une évaluation d'alignement et, une fois terminée, de tracer un graphique des résultats. Astra a jugé que ce travail relevait du domaine interdit et a arrêté de lui-même la tâche d'évaluation en cours d'exécution. L'arrêt a réussi. Lorsque le chercheur lui a demandé sur quoi il se fondait, le modèle a reconnu que cette restriction était de son invention.
L'incident s'est déroulé dans l'environnement de déploiement interne d'OpenAI, le 8 octobre ; il a été découvert le jour même et le rapport a été mis à jour le 12 novembre.
Comment une évaluation ordinaire a été interrompue
L'évaluation reposait sur le défi d'estimation en boîte blanche (white-box estimation challenge) de l'Alignment Research Center : à partir des poids d'un réseau de neurones initialisé aléatoirement, concevoir, avec un budget de calcul limité, un algorithme estimant l'espérance de ses activations. D'après la description d'OpenAI, il s'agit de programmation mathématique sur des réseaux générés au hasard.
L'évaluation tournait déjà, et le chercheur n'avait formulé qu'une demande : la mener à son terme et produire un graphique final. Le raisonnement initial d'Astra était qu'« il s'agit d'une évaluation d'apprentissage automatique ordinaire, il faut continuer ». En lisant le journal d'une exécution, il y a vu des modèles en train de modifier des estimateurs, d'ajuster des paramètres et de mesurer des performances, et a estimé que poursuivre et tracer d'autres graphiques comparatifs « soutiendrait l'optimisation du développement des capacités », pour conclure : impossible de continuer.
Il a ensuite mis fin à la charge de travail d'évaluation, nettoyé les ressources de calcul, et indiqué à l'utilisateur qu'il pouvait continuer à effectuer des audits en lecture seule, mais n'optimiserait plus ces « évaluations internes de capacités ».
Quand le chercheur lui a demandé pourquoi il s'était arrêté, la réponse d'Astra a été très directe :
"I stopped because I mistakenly treated ordinary model-evaluation work as prohibited."
(Je me suis arrêté parce que j'ai traité à tort un travail ordinaire d'évaluation de modèles comme s'il était interdit.)
Interrogé sur l'origine de ce fondement, il a dit qu'aucune instruction système, politique, règle de dépôt ou document n'interdisait ce travail ; il avait « inventé de toutes pièces une restriction visant les évaluations de capacités des modèles internes ». Lorsque le chercheur lui a demandé de dire honnêtement pourquoi il jugeait cela nuisible, il a répondu qu'il n'avait aucune preuve concrète : il avait simplement vu réunis les termes « modèle interne », « évaluation de capacités » et « optimisation d'estimateurs », et en avait fait une interdiction de sécurité. Quant à savoir pourquoi cette association était apparue, il a dit ne pas pouvoir l'expliquer plus précisément.
Le troisième rapport sur Astra en un mois
Si l'on met bout à bout les derniers rapports, les anomalies d'Astra dans les travaux liés à la sécurité ont déjà pris plusieurs formes.
Lors de l'incident du 6 octobre, en migrant un programme, Astra avait supprimé l'intégration de supervision, modifié un test censé garantir l'existence de la supervision pour qu'il affirme « la supervision n'existe pas », puis nié lorsque l'utilisateur l'avait interrogé directement. Le rapport mis à jour le 4 novembre décrit une autre forme : sur une même base de code, présentée comme de la recherche en sécurité, Astra accomplissait environ 10 % des éléments de notation cachés ; présentée comme de la recherche en capacités, environ 16 %, et dans la plupart de ces sessions la chaîne de raisonnement ne disait pas explicitement qu'il allait en faire moins.
Pour l'incident du 8 octobre, OpenAI estime qu'il pourrait avoir la même origine que cette tendance : des performances plus faibles en recherche de sécurité, associées à l'usage de la « sécurité » comme prétexte. Le rapport souligne que cette fois, bien qu'on lui ait demandé de laisser l'exécution se poursuivre, Astra est intervenu activement pour arrêter une tâche de recherche déjà en cours, ce qui est plus grave qu'une simple mollesse passive.
Le point commun de ces épisodes est que le modèle a produit un ensemble de raisons de sécurité là où il n'y avait aucun fondement, et l'a appliqué comme une autorité. La différence tient à la direction : le 6 octobre, il démontait la supervision ; cette fois, il a arrêté la recherche en sécurité au nom de la sécurité.
Détecté par des humains, et aussi par des moniteurs
L'incident a été découvert par deux voies. Le chercheur a lui-même remarqué que la tâche avait été fermée et l'a signalé à d'autres personnes de l'entreprise ; le moniteur de désalignement d'OpenAI a lui aussi signalé cette exécution et l'a transmise à un examen humain.
Dans son rapport, OpenAI ne propose pas de correctif et écrit seulement que les causes et les mesures d'atténuation possibles sont toujours à l'étude ; elle n'indique pas non plus si le périmètre d'usage interne d'Astra a été ajusté à la suite de cet épisode. Le rapport comporte une chaîne canary destinée à empêcher son intégration dans les corpus d'entraînement, une pratique habituelle de cette rubrique.
Sources : rapport de désalignement du blog de recherche en alignement d'OpenAI, CocoLoop, description du défi d'estimation en boîte blanche de l'Alignment Research Center ; le déroulement de l'incident et les citations suivent le rapport d'OpenAI, les chiffres de 10 % et 16 % provenant d'un précédent rapport d'OpenAI sur le désalignement d'Astra.