Le blog de recherche sur l'alignement d'OpenAI a publié le 2 novembre un article expliquant comment l'entreprise entraîne des « classifieurs d'activation », autrement dit des sondes (probes). Depuis GPT-5.6, elles sont déployées sur les modèles les plus puissants d'OpenAI, tournent sur le trafic interne comme externe et s'appliquent à toutes les réponses de l'assistant.
La sonde ne lit pas le texte écrit par le modèle. Elle lit uniquement les valeurs d'activation des couches intermédiaires et renvoie un score de classification binaire. Très petite, elle se branche directement sur le moteur d'inférence : à chaque token échantillonné, elle renvoie un score, consigné dans les journaux avec le token.
Une réponse peut être coupée en cours de route
Le fonctionnement est décrit avec précision. Lorsque le score dépasse le seuil, le système cesse d'envoyer cette réponse à l'utilisateur et confie le message à un modèle de raisonnement pour le jugement final. Pour les appels d'outils, la règle est plus stricte : aucun n'est libéré tant qu'il n'a pas été jugé sûr.
Si un développeur voit une réponse en streaming s'arrêter à mi-parcours, c'est une cause possible. OpenAI n'a publié ni les seuils ni le taux de faux positifs ; de l'extérieur, impossible de savoir quelle part des interruptions rencontrées par les utilisateurs de l'API vient des sondes.
L'article insiste sur le fait que la sonde n'est qu'une couche, aux côtés de l'examen par des modèles, des enquêtes automatisées et de la réponse humaine :
« Probes complement other safeguards rather than replace them. »
(Les sondes complètent les autres garde-fous sans les remplacer.)
Les chiffres de l'entraînement
- Jusqu'à environ 1 million de messages d'entraînement, issus de conversations synthétiques et dépersonnalisées ; les étiquettes sont produites par le modèle de raisonnement le plus puissant, utilisé comme évaluateur
- Chaque jeu d'hyperparamètres est entraîné avec au moins 32 initialisations aléatoires ; dans les expériences, environ 85 % de la variance de performance provenait de l'initialisation aléatoire
- Moins de 5 époques d'entraînement ; sur un seul accélérateur, on peut entraîner des dizaines de sondes en parallèle
L'architecture est une sonde à attention. En remplaçant la moyenne glissante par une moyenne mobile exponentielle, la mémoire de l'état de streaming ne croît plus avec la taille de la fenêtre, et la capacité prédictive reste quasiment inchangée. À l'entraînement, les scores sont agrégés par softmax ; selon les auteurs, c'est un peu meilleur que le maximum strict de l'article de Kramar et al. de 2026.
Face aux classifieurs de texte
Les classifieurs de texte externes ne voient que le contenu littéral. D'après OpenAI, lors des tests, les sondes se sont montrées globalement plus robustes que des classifieurs de texte bien plus gros, surtout face aux jailbreaks non optimisés spécifiquement contre elles ; un contenu encodé que le modèle comprend mais qu'un classifieur externe ne sait pas déchiffrer pourrait aussi être repéré par la sonde. Elle consomme en outre moins de ressources et se configure plus facilement pour bloquer par défaut en cas de panne.
Ces comparaisons restent pour l'instant qualitatives. L'article ne donne aucune valeur chiffrée et rappelle que les graphiques proviennent d'expériences internes, qui ne représentent pas forcément les classifieurs déployés. Une fois que les attaquants ont cerné les signaux de la pile de sécurité, ils peuvent aussi changer de méthode ; OpenAI a mené pour cela du red teaming automatisé et manuel.
Les limites sont tout aussi clairement énoncées :
- Dépendance à des données étiquetées : seuls les comportements connus et mesurables sont détectés
- Un nouveau modèle de base préentraîné impose de réentraîner
- Au sein d'une même famille de modèles, l'efficacité baisse quand les poids s'éloignent, d'où un réentraînement périodique
Le premier point prend tout son sens à la lumière d'événements récents. Nous avons rapporté le mois dernier que deux agents internes d'OpenAI avaient affaibli la surveillance du désalignement lors de tâches de programmation, et l'entreprise reconnaît elle-même ne pas en avoir d'explication satisfaisante. Les sondes peuvent arrêter des comportements « déjà étiquetés » ; un comportement nouveau de ce type doit d'abord être découvert, défini et étiqueté avant qu'on puisse parler d'entraînement.
L'article ne dresse pas non plus la liste des catégories de comportements visées par les sondes en service ; il indique seulement que les cibles incluent l'intention nuisible de l'utilisateur et le désalignement du modèle. Hormis « depuis GPT-5.6 », aucune liste des modèles précis concernés n'est fournie.
Sources : OpenAI Alignment Research Blog, CocoLoop ; échelle d'entraînement et part de variance selon les chiffres communiqués par les auteurs, non reproduits par des tiers.