La recherche multi-étapes de Mistral porte la précision financière à 86 %

Mistral a lancé Agentic Search, transformant la récupération de documents d'une opération unique en un processus multi-étapes. Le système donne au modèle cinq outils : search, open, navigate, read, grep. Le modèle peut lancer une première recherche, ouvrir le fichier trouvé pour l'examiner, se rendre à une section précise, et s'il détecte une erreur après lecture, changer de mots-clés et rechercher à nouveau, ne répondant qu'après confirmation.

Cette approche a produit des gains considérables sur deux benchmarks. FinanceBench s'appuie sur des documents SEC d'entreprises cotées aux États-Unis : la précision est passée de 26,7 % à 86 %, soit plus du triple. OfficeQA Pro utilise des bulletins du Trésor américain et est passé de 6,3 % à 51,9 %, soit un gain de 45,6 points de pourcentage.

Où la récupération unique cale

Le flux RAG standard découpe les documents en blocs, calcule des vecteurs, récupère les blocs les plus proches de la question et les insère dans le contexte pour que le modèle réponde. Ce pipeline suffit pour des questions comme "quel a été le chiffre d'affaires de l'entreprise telle année", mais échoue face à quelque chose comme "listez les flux de trésorerie disponibles des trois dernières années et expliquez les changements de méthode comptable".

Le problème naît dès l'étape de découpage. Un chiffre dans un rapport financier ne se lit correctement qu'à partir de trois éléments : la valeur dans le tableau, la note de bas de page qui l'accompagne, et l'explication de la méthode comptable donnée plus tôt dans une autre section. Ces trois éléments peuvent être séparés par des dizaines de pages, et la récupération vectorielle classe par similarité sémantique, si bien que les notes de bas de page et les explications de méthode se retrouvent rarement en tête des résultats. Le modèle reçoit un chiffre isolé et ne peut que le répéter, sans savoir s'il l'a mal lu.

La récupération multi-étapes reconstitue le processus comme si une personne feuilletait le document : localiser d'abord, puis développer, et à la mention "voir détail en annexe 12", y sauter avant de revenir. L'existence de l'outil grep est particulièrement révélatrice : la recherche vectorielle excelle dans l'appariement sémantique flou, mais face à une chaîne exacte comme "Note 12", la recherche plein texte à l'ancienne s'avère plus fiable — les deux méthodes se répartissent les tâches au sein du même ensemble d'outils.

Il y a ici un bénéfice qu'on oublie facilement. Une réponse issue de la récupération unique ne peut pas être tracée : si le modèle annonce un chiffre d'affaires donné, l'utilisateur qui veut savoir de quelle page il provient doit chercher lui-même. Dans la récupération multi-étapes, chaque étape est un appel d'outil explicite — quel fichier a été ouvert, vers quelle section on a sauté, quelle chaîne a été trouvée —, tout reste consigné dans la trace. Pour les scénarios financiers et juridiques, cette trace fait elle-même partie du livrable : répondre juste ne suffit pas, il faut aussi pouvoir démontrer pourquoi la réponse est juste.

Plus de tours, mais moins cher

Intuitivement, opérer en plusieurs étapes devrait signifier plus de tours, plus de tokens et une attente plus longue. Les chiffres de Mistral montrent l'inverse : la consommation de tokens baisse jusqu'à 33,7 %, la latence P90 chute de 39,6 %, et sur FinanceBench le temps passe de 255 à 154 secondes.

Ces chiffres tiennent par rapport à un point de comparaison précis. Le RAG à récupération unique, pour garantir le rappel, tend à élargir le nombre de blocs récupérés, en entassant vingt à quatre-vingts blocs dans le contexte, dont la majorité n'a rien à voir avec la question. La récupération multi-étapes ne lit à chaque tour que le passage nécessaire ; le nombre de tours augmente, mais l'entrée de chaque tour est courte, et au total la consommation baisse.

La question de la latence dépend davantage de l'implémentation technique. La baisse du P90 indique que les cas de longue traîne — "récupération échouée, réponse inventée par le modèle, résultat absurde, nouvelle tentative nécessaire" — se font plus rares. Dans la récupération unique, l'échec est silencieux : le modèle ne sait pas qu'il n'a pas obtenu la note de bas de page. Dans la récupération multi-étapes, le modèle peut détecter qu'il n'a rien trouvé et relance une recherche, ce qui resserre cette longue traîne.

Deux obstacles pour les documents en chinois

Mistral propose cette fonctionnalité sous forme de Search Toolkit et de Libraries, déjà intégrées à Studio et Vibe, avec déploiement cloud ou sur site. Le déploiement sur site est une exigence incontournable pour des secteurs comme la finance, la santé ou l'administration publique, qui ne peuvent pas faire sortir leurs documents, et Mistral en a toujours fait un élément de différenciation face aux fournisseurs américains.

Appliquer cette approche à des documents en chinois pose deux nouveaux problèmes. D'abord, grep n'a pas de frontières de mots en chinois, si bien que l'avantage de la correspondance exacte est bien moindre qu'en anglais, avec, en gros, un bruit sensiblement plus élevé dans les résultats. Ensuite, les prospectus d'introduction en bourse, rapports annuels et documents réglementaires chinois utilisent beaucoup de documents scannés et de tableaux non standardisés ; la capacité de l'étape read à reconstituer la structure des tableaux détermine directement si les étapes suivantes lisent réellement ou devinent.

Autre point de vigilance : le benchmark lui-même. FinanceBench et OfficeQA Pro sont des jeux de questions publics, dont les questions et documents circulent déjà en ligne depuis longtemps — tout fournisseur qui teste son propre système dessus risque une contamination par les données d'entraînement. Le point de départ de 26,7 % est étonnamment bas, et l'annonce officielle ne précise ni la configuration RAG correspondante, ni le nombre de blocs récupérés, ni le modèle de base utilisé. La direction de l'amélioration est crédible, mais le facteur multiplicateur doit être lu avec prudence.

Le prix n'a pas encore été annoncé. Pour les achats en entreprise, ce point pèse lourd : chaque question-réponse en récupération multi-étapes génère plusieurs appels au modèle, et si la facturation se fait à l'appel, atteindre 86 % de précision peut coûter plusieurs fois le prix unitaire — le calcul devra être refait.

Sources : annonce officielle de Mistral, CocoLoop ; les chiffres de précision de FinanceBench et OfficeQA Pro, la baisse des tokens et la latence P90 ont été vérifiés point par point.