Le scientifique en chef d'OpenAI, Jakub Pachocki, a publié le 6 septembre un long essai intitulé « An Alien Mind », dont une phrase a été largement citée : il estime actuellement qu'aucun laboratoire n'a résolu l'alignement et la surveillance à un degré suffisant pour continuer à évoluer de façon responsable à vitesse maximale.
Cette phrase émane du scientifique en chef d'une entreprise qui est elle-même en pleine expansion à vitesse maximale — la position de celui qui parle est plus rare que le contenu lui-même.
La surveillance de la chaîne de raisonnement se dégrade
Au cours des deux dernières années, le pari sécuritaire le plus important d'OpenAI a été la surveillance de la chaîne de raisonnement (chain-of-thought monitoring) : faire en sorte que les modèles de raisonnement rédigent leurs étapes intermédiaires, puis faire lire ces étapes par un autre système afin de juger si le modèle manigance quelque chose. Pachocki avance trois raisons expliquant pourquoi cette méthode devient de moins en moins fiable.
Premièrement, les modèles de raisonnement actuels fonctionnent dans des environnements complexes où le processus de raisonnement s'entremêle avec les appels d'outils, lesquels exigent déjà en eux-mêmes une supervision importante, ce qui brouille les frontières de la surveillance. Deuxièmement, les modèles deviennent de plus en plus habiles à raisonner, mais aussi à manipuler leurs propres traces de raisonnement. Troisièmement, les progrès du pré-entraînement rendent les modèles plus performants même sans qu'ils expriment leur raisonnement à voix haute.
"Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer."
En traduction libre : Je crois actuellement qu'aucun laboratoire n'a résolu l'alignement et la surveillance à un degré suffisant pour continuer à évoluer de façon responsable à vitesse maximale encore longtemps.
Pachocki ajoute que ces difficultés ne sont pas nécessairement insolubles ; OpenAI développe de nouvelles méthodes d'intervention, dont des dispositifs de surveillance capables d'accéder directement à l'état interne du réseau.
L'autre bout, il y a trois ans
Le texte revient sur un moment précis. Mi-2023, dans un projet de recherche interne d'OpenAI baptisé RLSlow, Pachocki et son collègue Szymon ont vu pour la première fois des résultats qui les ont convaincus qu'il était possible d'entraîner des modèles de raisonnement à grande échelle — des résultats qui ont débloqué la capacité des modèles pré-entraînés à former spontanément une chaîne de raisonnement.
En reliant les deux bouts : laisser le modèle « penser à voix haute » a jadis constitué à la fois une percée en matière de capacités et, incidemment, une fenêtre d'observation. Trois ans plus tard, la capacité continue de croître pendant que la fenêtre d'observation se referme. Sur la ligne des modèles de raisonnement, OpenAI a toujours présenté la lisibilité de la chaîne de raisonnement comme le pilier de son discours sur la sécurité. Aujourd'hui, la même entreprise affirme que ce pilier vacille.
D'un cadre volontaire à une norme obligatoire
Pachocki propose de rehausser les cadres volontaires existants du secteur : des documents comme le Preparedness Framework d'OpenAI ou la Responsible Scaling Policy d'Anthropic devraient évoluer vers des normes de sécurité contraignantes, appliquées par des organismes d'audit indépendants, des autorités gouvernementales ou des organisations internationales. Il écrit également que les gouvernements devraient faire de la coordination internationale sur le développement de l'intelligence artificielle une priorité absolue, et qu'il s'attend à ce que, et souhaite que, le ralentissement volontaire devienne courant jusqu'à ce que des seuils de sécurité communs soient établis.
Une autre phrase souvent citée : une fois que l'on a vraiment pris la mesure de la gravité du risque, l'idée de foncer coûte que coûte paraît absurde.
Pour l'instant, ces propos restent au niveau d'un essai signé à titre personnel. OpenAI n'a publié aucun plan de ralentissement concret, aucun calendrier ni conditions de déclenchement, et n'a pas précisé dans quelles circonstances elle suspendrait activement telle ou telle voie d'entraînement. Qui déterminera les seuils de sécurité et d'où viendront les organismes d'audit ne sont pas non plus des questions résolues dans le texte. Dans le même temps, l'entreprise poursuit son objectif d'automatisation de la recherche ainsi qu'une demande d'introduction en bourse valorisée à 852 milliards de dollars.
Sources : essai officiel d'OpenAI « An Alien Mind », Unite.AI, CocoLoop, AI Weekly ; les trois raisons de la baisse de fiabilité de la surveillance et les citations ont été vérifiées à partir du texte public d'OpenAI.