Le 6 octobre, OpenAI a publié sur GitHub un ensemble de résultats de recherche mathématique produits par un modèle de pointe interne. Le dépôt s'appelle openai/math et est placé sous licence Apache 2.0. Il contient 722 manuscrits, répartis en 372 « familles » de recherche, où sont regroupées différentes démonstrations, généralisations et révisions d'un même problème.
Selon OpenAI, au cours de la recherche, le modèle a reçu en tout environ 4000 problèmes. Chaque résultat accepté a consommé, en moyenne, une puissance de calcul équivalente à environ trois heures de raisonnement de ChatGPT Pro.
Quels domaines sont couverts
Les manuscrits couvrent la théorie des nombres, la complexité computationnelle, la physique mathématique, la géométrie et l'informatique théorique. Parmi les exemples cités par les médias figurent : des questions liées à la mesure d'irrationalité de π, plusieurs problèmes NP-difficiles, la conjecture de Mahler, les progressions arithmétiques, les facteurs de groupes libres, ainsi que le ferromagnétisme de Heisenberg quantique et les équations de Vlasov-Maxwell relativistes.
Un bon nombre de ces démonstrations sont accompagnées d'une version formalisée en Lean. Lean est un langage de programmation qui permet à un ordinateur de vérifier pas à pas la logique d'une démonstration ; la réussite de la formalisation montre que la chaîne de raisonnement ne comporte pas de faille. Cependant, tous les manuscrits n'ont pas de fichier Lean correspondant, et OpenAI l'écrit sans détour dans ses notes :
"some of the unformalized results could have issues"
Autrement dit, les résultats non formalisés pourraient contenir des problèmes. L'entreprise promet de corriger les erreurs découvertes par la suite et d'ajouter progressivement davantage de preuves formalisées. Le dépôt comprend également un processus de révision des articles et des règles de citation, afin que les chercheurs puissent suivre combien de fois un résultat a été modifié et quelle version citer.
Relier les jalons
Cette publication intervient plus de quatre mois après la dernière grande annonce d'OpenAI en mathématiques. En mai dernier, un modèle d'OpenAI avait résolu un problème d'Erdős resté ouvert pendant environ 80 ans — il s'agissait alors d'une percée isolée, rapportée problème par problème. En octobre, cela devient plusieurs centaines de manuscrits déposés d'un coup dans le dépôt, et la manière même de publier fait désormais partie de la nouvelle.
La forme a également changé. Avant cette publication, OpenAI a consulté le « groupe consultatif indépendant sur les mathématiques et l'intelligence artificielle » de l'Institute for Advanced Study (IAS) de Princeton. Ce groupe vient de publier, le 29 septembre, une recommandation, après avoir reçu plus de 600 retours de la communauté mathématique, exigeant que les résultats mathématiques générés par IA rendent publics le nom du modèle, les prompts, des résumés du processus de raisonnement, le coût de calcul, ainsi que le taux d'échec du modèle sur des problèmes similaires.
Au regard de cette liste, OpenAI a cette fois fourni le coût de calcul (en moyenne trois heures de raisonnement en mode Pro), le nombre total de problèmes (environ 4000) et un grand nombre de preuves Lean ; le modèle lui-même reste cependant non divulgué, l'annonce se contentant de parler d'un « modèle interne » et affirmant progresser vers une divulgation responsable. Combien, parmi les environ 4000 problèmes, sont restés sans solution, et lesquels ont été abandonnés en cours de route, reste impossible à savoir à partir des documents publics.
La communauté mathématique s'inquiète depuis longtemps de ce volume de production. Terence Tao s'est exprimé publiquement à deux reprises, en août puis en septembre, sur ce sujet, expliquant en substance que l'IA ferait dépasser de loin la capacité humaine de relecture par la production de démonstrations, et que même les bons problèmes difficiles seraient rapidement « épuisés ». Sur qui retombera la charge de relire 722 manuscrits à la fois, personne n'a pour l'instant apporté de réponse.
Et la suite
OpenAI indique qu'elle financera des ateliers et des projets spécifiques liés à ce sujet, pour aider la communauté mathématique à comprendre et à assimiler les résultats générés par IA. Quant à savoir si les manuscrits du dépôt pourront être publiés dans des revues officielles et comment la question des auteurs sera traitée, l'entreprise n'a pas encore présenté de plan concret ; les résultats de la vérification manuscrit par manuscrit par des mathématiciens externes n'ont pas non plus été rendus publics.
Sources : blog officiel d'OpenAI, Interesting Engineering, Unite.AI, CocoLoop ; le nombre de manuscrits, le total des problèmes et le coût de calcul reposent sur les informations publiques d'OpenAI, et le contenu des recommandations du groupe consultatif repose sur les documents publics du groupe consultatif de l'IAS.