L'Allen Institute for AI (Ai2) a lancé le 19 novembre, sur sa plateforme de recherche Asta, Theorizer, un agent qui rassemble les résultats de plusieurs articles pour proposer des explications aux phénomènes observés. Le code a été publié en open source sur GitHub en même temps.
Tout commence par une question. Après avoir recherché la littérature, Theorizer génère d'abord un modèle d'extraction qui précise ce qu'il faut relever dans chaque article. Dans l'exemple d'Ai2, à la question « comment les tumeurs grossissent-elles », le modèle pourrait inclure les gènes étudiés, la façon de mesurer leur activité et ce qui se passe une fois les gènes modifiés. Il compare ensuite les résultats de chaque travail et produit plusieurs théories ; chaque affirmation renvoie par un lien aux articles sources et indique son champ d'application. Les chercheurs peuvent remonter au texte original pour chaque point afin de juger si les preuves suffisent et si les conditions expérimentales sont comparables. Les affirmations que l'outil estime nouvelles sont signalées à part.
Trois cas, aucun score de benchmark
Ai2 affirme avoir affiné cet outil avec des scientifiques pendant près d'un an ; ce qui est présenté aujourd'hui, ce sont quelques cas, sans aucun score d'évaluation sur des benchmarks.
Le premier concerne l'adénocarcinome pulmonaire. Dans environ 20 à 30 % des cas, aucune mutation motrice reconnue n'est trouvée, même après un séquençage complet. Theorizer a avancé trois pistes : des altérations génétiques encore non découvertes qui activent la voie RAS ; d'autres mécanismes permettant aux cellules de se diviser en contournant RAS ; et des tumeurs qui ont acquis des caractéristiques d'autres types cellulaires. La réaction du chercheur Devarakonda à la lecture :
« Wait a second, this is exactly what I think. And it took me 15 years to think like this. »
(Attendez, c'est exactement ce que je pense. Et il m'a fallu 15 ans pour penser ainsi.)
L'équipe a ensuite utilisé un autre outil d'Ai2, AutoDiscovery, pour avancer l'hypothèse d'une perturbation du complexe DREAM, et a observé des indices préliminaires en faveur d'une dépendance à CDK2. Ai2 précise que tout cela doit encore être validé expérimentalement.
Le neuroscientifique Lecoq s'est intéressé aux interneurones VIP. Il comptait obtenir une ou deux théories candidates ; Theorizer en a renvoyé 50 d'un coup.
Le troisième cas se passe au Pérou. Palacios et Juarez travaillaient avec le jeu de données météorologiques PISCO, et une explication fournie par Theorizer a ensuite été jugée fausse par les deux chercheurs. Mais pour la tester, ils ont vérifié les pics de température de novembre et remonté jusqu'à la source des données : l'enregistrement du point de rosée s'arrête en 2016, tandis que celui de la température minimale se poursuit jusqu'en 2020, soit un écart de 4 ans ; certaines valeurs reconstruites dépassent 35 °C et se concentrent en novembre. D'où viennent les pics de novembre dans les enregistrements sources ? Les deux chercheurs cherchent encore à le recouper avec les observations de stations indépendantes ; il n'y a pour l'instant aucune conclusion.
La ligne Asta
Si l'on met bout à bout les initiatives d'Ai2 sur Asta cette année, la répartition des tâches entre les outils devient de plus en plus fine. Début octobre, l'institut a ouvert le code d'AstaBrief, un modèle de 8 milliards de paramètres chargé de transformer la littérature recherchée en rapports scientifiques assortis de citations ; le temps de production moyen annoncé alors était de 51,1 secondes. AstaBrief suit la voie du petit modèle à poids ouverts, et Ai2 justifie ce choix par le fait que, pour beaucoup de scientifiques, les meilleures preuves se trouvent dans des rapports internes qu'on ne peut pas envoyer à des laboratoires d'IA commerciaux. Theorizer va un cran plus loin : il passe du résumé des conclusions existantes à la proposition d'explications que l'on peut mettre à l'épreuve.
Le seuil d'entrée est bas. L'outil s'utilise directement sur le site d'Asta, les coûts en tokens étant pris en charge par Ai2 dans la limite d'un plafond ; pour l'exécuter sur sa propre machine, on peut utiliser la bibliothèque ouverte et payer soi-même les tokens selon l'usage réel. La page d'annonce n'indique pas sous quelle licence le code est publié ; c'est le dépôt GitHub qui fait foi. Ai2 a aussi programmé un séminaire en ligne destiné aux scientifiques le 10 décembre à 10 h, heure du Pacifique.
Ai2 énumère elle-même deux limites : Theorizer peut passer à côté de travaux connexes et mal juger l'originalité, car une théorie qui semble nouvelle dans le lot d'articles analysé a peut-être déjà été avancée ailleurs. Parmi les affirmations marquées comme « nouvelles », la part concernée n'a pas été chiffrée par Ai2 ; les chercheurs doivent toujours les confronter à une littérature plus large.
Sources : blog officiel d'Ai2, CocoLoop, plateforme Asta, dépôt GitHub d'Ai2 ; ont été vérifiés le fonctionnement de Theorizer, les proportions et les années de chaque cas, le temps de production moyen d'AstaBrief et les règles de coût en tokens de la version web.