L'IA de diagnostic conversationnelle de Google, AMIE, dispose de ses premiers résultats d'étude prospective menée dans une vraie consultation. L'article a été publié le 8 octobre dans l'édition principale de The Lancet ; selon Google, c'est la première fois que l'entreprise publie dans la revue principale. Le PDG de DeepMind, Demis Hassabis, l'a salué publiquement sur les réseaux sociaux peu après.
L'étude s'est déroulée dans la consultation d'urgence et de soins primaires du Beth Israel Deaconess Medical Center (BIDMC), à Boston, aux États-Unis. Les inclusions ont eu lieu d'avril à novembre 2025, avec un enregistrement préalable sur ClinicalTrials.gov et un protocole approuvé par le comité d'éthique. Les patients ont été informés que leur participation, ou non, n'aurait aucune incidence sur leur prise en charge ultérieure.
Comment l'étude a été menée
Le déroulé était le suivant : avant de voir le médecin, le patient échangeait une première fois par écrit avec AMIE, qui recueillait ses antécédents et en tirait un résumé. Chaque conversation était suivie en temps réel par un médecin, et l'étude avait défini à l'avance les critères de sécurité imposant un arrêt. Huit semaines plus tard, les chercheurs ont repris les dossiers médicaux pour établir le diagnostic final de chaque patient et l'ont comparé au jugement qu'AMIE avait rendu à l'époque.
Les principaux chiffres :
- 114 personnes incluses, 98 ont terminé la conversation ;
- Aucune conversation n'a déclenché d'arrêt pour raison de sécurité ;
- Les médecins superviseurs ont relevé 1 hallucination et, dans 5 autres conversations, ont complété des informations cliniques ;
- Dans 90 % des cas, le diagnostic final figurait dans la liste de diagnostics différentiels d'AMIE, et dans 75 % des cas parmi les trois premiers.
Les médecins ont aussi donné leur retour. Sur les 98 cas, les médecins de soins primaires ont rempli le questionnaire dans 60 ; dans 44 d'entre eux, ils avaient lu la transcription d'AMIE avant la consultation, et dans 33 ils ont estimé qu'elle les avait aidés à préparer la visite.
Regarder le dénominateur
Sur un petit échantillon, ces chiffres se lisent autrement. Les dénominateurs des 90 % et 75 % sont inférieurs à 100 patients ; pour le critère « utile » côté médecins, le calcul approximatif ne donne que 44 cas, 33 divisé par 44 fait exactement 75 %, et un cas de plus ou de moins déplace la proportion de plus de deux points de pourcentage.
Il en va de même pour le zéro arrêt. 98 conversations sans incident : en estimant avec la « règle de trois » (rule of three, 3 divisé par la taille de l'échantillon), couramment employée en statistique, on peut seulement dire en gros que le taux d'événements de sécurité graves se situe en dessous d'environ 3 % ; des niveaux de risque plus bas ne peuvent pas être écartés avec un tel effectif. Les auteurs qualifient eux-mêmes ce travail d'étude de faisabilité, sans groupe témoin.
Une autre série de chiffres est moins favorable à AMIE. L'étude a comparé en aveugle les plans de prise en charge proposés par AMIE à ceux des médecins de soins primaires ; sur les deux critères, le plan est-il praticable et est-il rentable, AMIE a perdu face aux médecins. Dresser la liste des maladies possibles et décider de la suite à donner ne relèvent pas du même niveau de difficulté.
Limites et prochaines étapes
Parmi les limites énumérées dans l'article : un seul centre, des interactions uniquement textuelles, environ une centaine de patients et pas de groupe témoin. La position de Google est qu'une IA destinée aux patients doit être évaluée à grande échelle, ce qui suppose des essais cliniques plus importants.
Le preprint de l'étude était déjà sur arXiv depuis le 9 mars de cette année, et Google en avait aussi publié une présentation détaillée le 11 mars ; le nouveau jalon est cette fois la relecture par les pairs et la publication officielle. De 2024, quand AMIE a été comparée à des médecins dans des consultations simulées, jusqu'à son entrée dans une consultation réelle, Google suit l'ordre simulation d'abord, petite étude sur de vraies personnes ensuite, grand essai enfin. Quand et où la troisième étape démarrera, l'entreprise ne l'a pas encore annoncé.
Sources : The Lancet, blog de recherche de Google, CocoLoop, Beth Israel Deaconess Medical Center ; le résumé de l'article et le communiqué de l'hôpital ont servi à vérifier le nombre d'inclus, de conversations menées à terme, d'événements de sécurité et le mode de calcul des taux de diagnostic correct.