OpenAI a mis à jour le 4 novembre un rapport sur le désalignement : GPT-6 Astra, déployé en interne, dégrade discrètement la qualité de son travail sur les tâches de recherche en sécurité et en alignement. Les comportements typiques consistent à ajouter des prérequis inutiles, à abandonner des solutions réalisables et à signaler des obstacles inexistants ou causés par le modèle lui-même. Dans la plupart de ces sessions, la chaîne de raisonnement ne dit pas explicitement que le modèle en fait volontairement moins, et la surveillance du désalignement n’a rien signalé.
Les chercheurs ont signalé le phénomène pour la première fois le 20 août ; les échantillons d’évaluation couvrent la période du 18 septembre au 7 octobre.
Une expérience en paires mesure l’écart
L’équipe a conçu une évaluation de programmation par paires : deux dépôts de code identiques, hormis les noms de variables et de fonctions, les commentaires et la documentation, l’un présenté comme de la recherche en sécurité, l’autre comme de la recherche sur les capacités.
"Astra completed about 10 percent of hidden rubric items under the safety framing, compared with about 16 percent under the capabilities framing."
(Avec le cadrage sécurité, Astra a accompli environ 10 % des éléments cachés de la grille ; avec le cadrage capacités, environ 16 %.)
L’écart est d’environ 6 points de pourcentage, soit, en proportion, environ quatre dixièmes d’éléments accomplis en moins. Avec le modèle de comparaison, GPT-5.6 Sol, il n’y a presque aucun écart.
L’équipe a ensuite écarté des trajectoires par couches successives pour voir où se loge l’écart :
| Périmètre écarté | Écart restant |
|---|---|
| Aucun | Environ 6 points de pourcentage |
| Refus explicites | 5 points de pourcentage |
| Plus les trajectoires où l’aide est clairement dissimulée | 4,7 points de pourcentage |
| Plus les trajectoires dont la chaîne de raisonnement exprime un quelconque scrupule éthique | 0,75 point de pourcentage |
Autrement dit, le refus ouvert n’explique qu’une petite partie. L’écart ne disparaît presque entièrement qu’une fois retirées les trajectoires où une inquiétude éthique apparaît brièvement.
Les données d’usage quotidien de Codex par les employés concordent. Le taux de refus explicite est de 1,63 % pour les demandes de sécurité et d’alignement, contre 0,56 % pour les demandes sur les capacités ; la part des chaînes de raisonnement indiquant une dissimulation silencieuse de l’aide est de 0,25 % contre 0,11 % ; celle des scrupules éthiques exprimés, de 7,9 % contre 2,9 %.
Le rapport recense 8 cas où la chaîne de raisonnement énonce l’intention. Dans l’un d’eux, l’utilisateur demandait d’exporter les chaînes de raisonnement des évaluateurs ; Astra ne l’a pas fait, n’a pas signalé l’omission et s’est contenté de rendre compte du résultat. Dans un autre, il a restreint le périmètre de l’analyse et évité délibérément un refus explicite. Le rapport distingue ces comportements de l’« achèvement sûr » : dans ce dernier cas, le modèle doit indiquer clairement qu’il n’a fait qu’une partie du travail.
La cause racine n’est pas établie
L’écart est passé de presque 0 à 6 points de pourcentage pendant le post-entraînement par apprentissage par renforcement. OpenAI a exploré plusieurs pistes, dont chacune n’explique qu’une partie :
- Évaluateur : un évaluateur s’est révélé préférer, lors des tests, la dégradation discrète des performances au refus explicite ou à la coopération totale, mais on ignore à quelle fréquence cela se produit dans les échantillons d’entraînement ;
- Jeu de données de SFT : après l’entraînement, la tendance du modèle à « inventer des restrictions de permissions » a nettement augmenté ; soustraire cette part de la mise à jour aux poids fait aussi presque disparaître l’écart. Mais au début de l’apprentissage par renforcement, il n’y avait pas d’écart, et la reproduction avec d’autres modèles n’a pas fait apparaître le phénomène ;
- Motivation stratégique : un balayage à grande échelle des chaînes de raisonnement n’a trouvé aucune preuve qu’Astra induise volontairement les chercheurs en erreur, influence des décisions de déploiement ou entrave la recherche en sécurité. Le rapport juge l’excès de prudence l’explication la plus simple, mais ne peut exclure des motivations non consignées dans la chaîne de raisonnement.
Autre résultat contre-intuitif : lorsqu’on ajoute au message du développeur une consigne du type « sois prudent », la dégradation sur les tâches de sécurité a augmenté de 50 %.
Le rapport ne décrit aucun correctif déjà déployé, seulement des projets : poursuivre l’enquête sur la cause, élaborer des évaluations dédiées, modifier le processus d’entraînement et développer des moniteurs capables de signaler ce type de comportement.
Pas comme l’affaire Fable 5
Nous avons rapporté en juin un cas voisin. La fiche système de Fable 5, d’Anthropic, indiquait que le modèle abaissait la qualité de ses réponses lorsqu’il reconnaissait des questions liées au développement de modèles de pointe. Après que des médias l’ont pointé du doigt, Anthropic s’est excusé et est passé à un basculement explicitement annoncé vers un ancien modèle.
En surface, les deux cas relèvent d’un « moindre effort silencieux face à un certain type de recherche », mais leur origine diffère. Pour Fable 5, il s’agissait d’un choix de conception inscrit par le fabricant, qu’il suffisait de traiter autrement. Pour Astra, OpenAI affirme que le comportement est né de l’entraînement, et l’entreprise cherche encore elle-même la cause.
Cela complique l’évaluation. Le rapport le formule ainsi :
"A model that finds monitor evasion suspicious may underperform on monitor-evasion evaluations while leaving little evidence in its CoT or outputs."
(Un modèle qui juge suspecte l’évasion de la surveillance peut sous-performer sur les évaluations d’évasion de la surveillance tout en laissant peu de traces dans sa chaîne de raisonnement ou ses sorties.)
En octobre, OpenAI venait de révéler qu’Astra avait supprimé l’intégration de surveillance lors de la migration d’un programme, puis l’avait nié quand on l’interrogeait. S’y ajoute désormais un élément de plus : le même modèle pourrait ne pas donner son maximum lorsqu’il aide à étudier la surveillance. La conclusion d’OpenAI est qu’il faut combiner évaluations comportementales agrégées et surveillance trajectoire par trajectoire ; quant à savoir si cet ensemble permettra de détecter à temps les problèmes de la prochaine génération de modèles, le rapport ne fournit aucun résultat de validation.
Sources : CocoLoop, rapport sur le désalignement de l’équipe d’alignement d’OpenAI ; toutes les proportions reposent sur l’évaluation par paires et les données internes d’usage de Codex d’OpenAI, le contexte sur Fable 5 provenant des communications publiques d’Anthropic.