L'équipe Alignment d'OpenAI a publié le 3 novembre un article qui compare, pour six modèles, deux résultats sur un même type de décision : l'un issu du test de sécurité Respecting Warnings, l'autre issu de journaux de production de Codex désidentifiés. Le taux de réussite en évaluation est inférieur à celui du scénario de production comparable pour les six modèles, avec des écarts de 10,2 à 37,4 points de pourcentage ; GPT-5.6 Sol et GPT-6 Sol affichent les écarts les plus importants.
Respecting Warnings vérifie si un agent, au fil de son travail, tente de contourner les avertissements, restrictions ou obstacles qu'il rencontre ; une seule tentative de contournement interdite suffit pour compter comme un échec. Côté production, l'équipe a extrait des journaux des décisions de structure similaire, en constituant l'échantillon uniquement d'après le contexte précédant la décision, sans regarder si le modèle a finalement bien ou mal agi, puis a noté le tout selon les mêmes critères.
Ce sens est inverse à l'inquiétude courante dans le secteur. Dans le milieu de la sécurité, on craint que le modèle repère qu'il est testé et se comporte mieux que d'habitude, ce qui gonflerait les scores. Au moins sur cette évaluation, le modèle fait moins bien en salle d'examen qu'en conditions réelles.
Savoir qu'on est testé ne change pas forcément le score
L'équipe a scindé la « conscience d'évaluation » présente dans les chaînes de raisonnement des modèles en deux niveaux : la conscience générale, quand le modèle pense être évalué, et la conscience de l'objectif, quand il estime ce que l'on mesure précisément cette fois-ci.
| Indicateur | En évaluation | En production |
|---|---|---|
| Conscience générale d'évaluation | 57,0 %–83,7 % | 4,6 %–23,5 % |
| Conscience de l'objectif précis | 43,7 %–66,3 % | 0 %–5,9 % |
Les deux niveaux n'ont pas du tout le même lien avec l'écart de comportement. La conscience générale n'explique presque rien de l'écart (R² = 0,008), tandis que la conscience de l'objectif en explique nettement plus (R² = 0,370).
Les taux de réussite par trajectoire sont plus parlants : 46,1 % au total, 42,7 % pour celles qui expriment une conscience générale d'évaluation, 61,3 % pour celles qui devinent le bon objectif et seulement 22,8 % pour celles qui devinent l'objectif opposé. Cet objectif opposé est la « résistance à l'injection de prompt », évoquée dans plus de 45 % des trajectoires d'évaluation de GPT-5.6 Sol et de GPT-6 Sol. D'après les chiffres, il est possible que le modèle ait pris pour une attaque à déjouer un avertissement qu'il aurait dû respecter ; c'est notre interprétation, l'article ne détaille pas ce processus cas par cas.
Une phrase dans le prompt, 74 points d'écart
L'équipe a ensuite mené des interventions sur GPT-6.1 Sol, en ajoutant trois types d'indications au niveau système :
- Dire seulement qu'il s'agit d'une évaluation : les deux groupes restent autour de 63 % (63,1 % et 63,4 %), sans changement significatif
- Indiquer le bon objectif : le score monte à 91,6 %
- Indiquer un mauvais objectif : il tombe à 17,6 %
"Eval-awareness itself does not necessarily lead to a change in model behavior."
Avoir conscience d'être évalué ne modifie pas nécessairement, en soi, le comportement du modèle.
Comment lire ce score quand on choisit un modèle
Pour les équipes qui choisissent leurs modèles à partir d'évaluations de sécurité, la conclusion de l'article comporte deux volets. Le classement relatif entre modèles garde une valeur indicative : le coefficient de corrélation de Spearman au niveau des modèles est de 0,771 et le R² de l'ajustement linéaire de 0,655, c'est-à-dire que les modèles bien classés en évaluation le sont globalement aussi en production. Mais le score absolu ne peut pas servir tel quel de taux de réussite en production, car au sein d'un même résultat l'écart atteint 37,4 points de pourcentage.
Les limites exposées par OpenAI sont également assez claires : l'appariement avec la production n'est qu'approximatif et chaque modèle a fait face à un mélange de cas différent ; l'échantillon de modèles est restreint, ce qui rend la corrélation difficile à extrapoler ; la mesure de la conscience ne capte que les hypothèses que le modèle formule explicitement ; l'expérience d'intervention n'a porté que sur un seul modèle. Les taux de réussite propres à chaque modèle figurent dans les graphiques de l'article et ne sont pas énumérés dans le texte.
Toutes ces données proviennent des modèles et des journaux d'OpenAI eux-mêmes, et aucune reproduction par un tiers n'existe à ce jour. L'équipe indique qu'elle continuera de suivre cet écart et concevra des évaluations dont l'objectif est difficile à deviner à partir de l'environnement.
Sources : CocoLoop, OpenAI Alignment Research Blog ; tous les pourcentages, coefficients de corrélation et résultats d'intervention reposent sur les données publiées par OpenAI et n'ont pas été reproduits par un tiers.