Deng Yu, médaillé Fields et professeur de mathématiques à l'Université de Chicago, a prononcé le 25 octobre une conférence inaugurale en ligne lors du forum de « The Intellectual » (Zhishifenzi) et de « Mr. Science » (Sai Xiansheng), où il a critiqué publiquement la manière dont les entreprises d'IA publient des résultats mathématiques. La transcription a été reprise le lendemain par Chao News. Il n'est pas opposé à l'usage de l'IA ; ce qu'il rejette, c'est qu'une entreprise ne montre que le résultat sans expliquer le cheminement.
L'exemple qu'il a donné est une série de résultats dévoilée par une entreprise d'IA le 6 octobre, portant sur plus de 300 problèmes et plus de 700 articles. Cette entreprise refuse de publier la chaîne de pensée (chain of thought), au motif d'éviter la distillation. Pour Deng, cet argument ne tient pas : si l'IA a réalisé une démonstration majeure, la tradition académique veut que l'on explique les idées et le processus.
La conférence ne nommait pas l'entreprise. L'enquête de Retraction Watch permet toutefois de recouper : le 6 octobre, OpenAI a mis en ligne sur GitHub 722 prépublications couvrant 372 problèmes mathématiques.
Ce qu'il demande
La critique de Deng s'articule sur deux plans. Le premier est celui des normes académiques : si l'on traite l'IA comme un chercheur, il faut expliquer d'où viennent les idées et garantir l'exactitude des démonstrations. Il a rappelé que ces articles ont été publiés directement, sans garantie de justesse, et que plus d'un a été retiré après la découverte d'erreurs.
Le second est la relation commerciale. Les mathématiciens paient pour le produit et y saisissent leurs idées, qui peuvent ensuite entrer dans l'entraînement. Il affirme que les idées de certains chercheurs sont apparues quelques semaines plus tard dans de nouvelles publications de l'entreprise, sans que les utilisateurs en retirent quoi que ce soit. Il s'agit de son témoignage personnel, qu'il est impossible de vérifier cas par cas avec les informations publiques.
Il a énoncé plusieurs principes d'usage : l'IA est un outil, utilisé par les mathématiciens et les amateurs, et les entreprises n'ont pas à faire la recherche à la place des utilisateurs ; c'est à l'utilisateur de décider si les données saisies servent à l'entraînement ; les contributions doivent être traçables, de façon à distinguer ce qu'ont fait l'IA et chaque personne, afin de réduire les litiges de priorité.
« Je pense que le choix appartient à l'utilisateur. »
Il plaide aussi pour que la communauté mathématique développe des modèles mathématiques open source, sans dépendre des entreprises commerciales, et reconnaît que le niveau en mathématiques des modèles ouverts reste nettement inférieur à celui du meilleur modèle commercial, un écart qu'il faudra réduire par l'entraînement et les améliorations.
Un fil conducteur de l'été à aujourd'hui
En reliant les étapes de ces derniers mois, on voit que les rapports entre mathématiciens et entreprises d'IA ont évolué très vite.
En juillet, lors d'un entretien, Deng se montrait plutôt bienveillant. Il racontait être resté bloqué plusieurs jours sur un cas particulier, et que GPT lui avait fourni une démonstration très simple qui, bien qu'impossible à généraliser, lui avait donné une piste.
Début septembre, OpenAI a annoncé des avancées de l'IA sur le problème de Navier-Stokes, puis des mathématiciens ont critiqué une publication jugée précipitée. Vers le 11 septembre, une lettre ouverte signée par 25 mathématiciens a fait l'objet d'articles ; Deng et Terence Tao figuraient parmi les signataires. La lettre reproche aux entreprises d'IA de traiter la résolution de problèmes comme un étalon de capacité, au détriment des étapes de rédaction et de vérification.
Le 7 octobre, soit le lendemain de la mise en ligne des prépublications, OpenAI a retiré 3 articles à cause d'une erreur de signe et en a révisé 14 autres. Alex Townsend, de l'Université Cornell, estime que l'entreprise aurait dû publier d'abord les parties vérifiées formellement avec Lean ; Andrew Sutherland, du MIT, juge que retirer et corriger est une démarche responsable, tout en notant que bien des mathématiciens sont mécontents de la manière dont OpenAI a procédé jusque-là. Un porte-parole d'OpenAI a déclaré que les erreurs avaient été détectées par un audit interne et qu'il s'agissait d'un processus itératif.
Le lendemain de la conférence de Deng, OpenAI a annoncé trois nouveaux résultats, dont celui sur Yang-Mills, qui n'a pas fait l'objet d'une formalisation en Lean.
La crainte de la distillation n'est pas infondée
L'inquiétude des entreprises d'IA repose sur des faits. OpenAI a déjà accusé des comptes liés à Moonshot AI d'avoir distillé des chaînes de raisonnement, et Anthropic a lui aussi mis en place des mesures spécifiques pour bloquer la distillation du raisonnement. Rendre publique la chaîne de pensée offre effectivement aux concurrents un matériau d'entraînement supplémentaire.
La réponse de Deng porte sur le contexte : l'interface d'un produit peut être protégée contre la distillation, mais face à un article qui prétend avoir résolu un problème difficile, le lecteur a le droit de vérifier comment on y est parvenu. Les deux exigences pourraient peut-être être traitées séparément, par exemple en ne donnant accès à l'historique du raisonnement qu'aux relecteurs de l'article ; ce n'est qu'une piste, et aucune entreprise n'a, à notre connaissance, formulé publiquement une telle proposition. À l'heure où nous publions, nous n'avons pas non plus trouvé de réaction publique d'OpenAI à cette conférence.
Sources : Chao News, The Intellectual, Retraction Watch, CocoLoop, ITHome ; le nombre de prépublications et de retraits suit le décompte de Retraction Watch.