Mistral hat Agentic Search vorgestellt und macht aus einmaligem Dokumenten-Retrieval einen mehrstufigen Vorgang. Das System stellt dem Modell fünf Werkzeuge bereit: search, open, navigate, read, grep. Das Modell kann zunächst eine Suchrunde starten, einen Treffer öffnen und durchsehen, zu einem bestimmten Abschnitt blättern, bei einem Fehler die Suchbegriffe ändern und erneut suchen – und erst nach Bestätigung antworten.
Der Ansatz bringt auf zwei Benchmarks deutliche Verbesserungen. FinanceBench nutzt SEC-Unterlagen börsennotierter US-Unternehmen: die Genauigkeit stieg von 26,7 auf 86 Prozent, mehr als eine Verdreifachung. OfficeQA Pro basiert auf Bulletins des US-Finanzministeriums und legte von 6,3 auf 51,9 Prozent zu, ein Plus von 45,6 Prozentpunkten.
Wo einmaliges Retrieval scheitert
Der Standard-RAG-Ablauf zerlegt Dokumente in Chunks, berechnet Vektoren, holt zur Frage die ähnlichsten Chunks und fügt sie in den Kontext ein, damit das Modell antwortet. Diese Pipeline reicht für Fragen wie "Wie hoch war der Umsatz des Unternehmens in einem bestimmten Jahr", versagt aber bei etwas wie "Liste den freien Cashflow der letzten drei Jahre auf und erkläre Änderungen bei den Bilanzierungsmethoden".
Das Problem entsteht schon beim Chunking. Eine Zahl in einem Finanzbericht lässt sich meist nur mit drei Elementen korrekt lesen: dem Wert in der Tabelle, der Fußnote darunter und einer Erläuterung der Bilanzierungsmethode weiter vorn im Dokument. Diese drei Elemente können mehrere Dutzend Seiten auseinanderliegen. Vektor-Retrieval sortiert nach semantischer Ähnlichkeit, und Fußnoten oder Methodenerklärungen landen dabei meist nicht unter den Top-Treffern. Das Modell bekommt eine isolierte Zahl und kann sie nur wiedergeben – falsch gelesen, ohne es zu merken.
Mehrstufiges Retrieval stellt den Vorgang wieder so her, wie ein Mensch ein Dokument durchblättern würde: erst orten, dann aufklappen, bei einem Verweis wie "siehe Anhang 12" dorthin springen und danach zurückkehren. Besonders aufschlussreich ist das Werkzeug grep: Vektorsuche ist stark bei semantisch unscharfem Matching, aber bei einer exakten Zeichenkette wie "Note 12" ist altmodische Volltextsuche verlässlicher. Beide Suchweisen decken im selben Werkzeugsatz jeweils ihren Bereich ab.
Ein leicht übersehener Zusatznutzen steckt ebenfalls darin. Antworten aus einmaligem Retrieval lassen sich nicht zurückverfolgen: Nennt das Modell einen Umsatzwert, muss der Nutzer selbst nachschlagen, von welcher Seite er stammt. Bei mehrstufigem Retrieval ist jeder Schritt ein expliziter Werkzeugaufruf – welche Datei geöffnet, zu welchem Abschnitt gesprungen, welche Zeichenkette gematcht wurde, alles bleibt in der Spur erhalten. Für Finanz- und Rechtsszenarien gilt: diese Spur selbst ist Teil des Liefergegenstands – eine richtige Antwort muss auch belegen können, warum sie richtig ist.
Mehr Runden, aber trotzdem günstiger
Intuitiv müssten mehrstufige Vorgänge mehr Runden, mehr Tokens und längere Wartezeiten bedeuten. Mistrals Zahlen zeigen das Gegenteil: der Token-Verbrauch sinkt um bis zu 33,7 Prozent, die P90-Latenz um 39,6 Prozent, auf FinanceBench von 255 auf 154 Sekunden.
Diese Zahlen gelten im Vergleich zu einem bestimmten Referenzpunkt. Einmaliges RAG tendiert dazu, zur Absicherung des Recalls die Zahl der abgerufenen Chunks hochzusetzen – zwanzig bis achtzig Chunks landen im Kontext, der Großteil davon irrelevant für die Frage. Mehrstufiges Retrieval liest pro Runde nur den benötigten Abschnitt; die Anzahl der Runden steigt, aber die Eingabe pro Runde ist kurz, in Summe wird gespart.
Bei der Latenz spielt die technische Umsetzung eine größere Rolle. Ein sinkender P90-Wert deutet darauf hin, dass die langen Ausreißerfälle – gescheitertes Retrieval, hart erzwungene Modellantworten, abwegige Ergebnisse, nötige Wiederholungen – seltener werden. Beim einmaligen Retrieval geschieht das Scheitern still, das Modell merkt nicht, dass ihm die Fußnote fehlt. Beim mehrstufigen Retrieval kann das Modell erkennen, dass es nichts gefunden hat, und sucht erneut – dadurch wird das lange Ende verkürzt.
Zwei Hürden für chinesischsprachige Dokumente
Mistral stellt die Funktion als Search Toolkit und Libraries bereit, bereits integriert in Studio und Vibe, mit Cloud- und On-Premise-Bereitstellung. Die On-Premise-Option ist für Branchen wie Finanzen, Gesundheitswesen und Behörden, die Dokumente nicht extern verarbeiten dürfen, ein Muss – Mistral betont diesen Punkt konsequent als Unterscheidungsmerkmal gegenüber US-Anbietern.
Bei chinesischsprachigen Dokumenten entstehen zwei neue Probleme. Erstens hat grep im Chinesischen keine Wortgrenzen, der Vorteil exakten Matchings ist deutlich kleiner als im Englischen, grob geschätzt steigt der Störanteil bei Treffern spürbar. Zweitens bestehen chinesische Börsenprospekte, Geschäftsberichte und Regierungsdokumente häufig aus gescannten Seiten und nicht standardisierten Tabellen – ob der read-Schritt die Tabellenstruktur rekonstruieren kann, entscheidet direkt darüber, ob die folgenden Schritte tatsächlich lesen oder nur raten.
Ein weiterer Vorbehalt betrifft den Benchmark selbst. FinanceBench und OfficeQA Pro sind öffentliche Aufgabensätze, deren Fragen und Dokumente längst online kursieren – jeder Anbieter, der sein eigenes System darauf testet, riskiert eine Kontamination durch Trainingsdaten. Der Startwert von 26,7 Prozent ist auffällig niedrig, und welche RAG-Konfiguration dahintersteckt, wie viele Chunks abgerufen wurden, welches Basismodell verwendet wurde, geht aus der offiziellen Ankündigung nicht hervor. Die Richtung der Verbesserung ist glaubwürdig, den genauen Faktor sollte man mit Vorsicht lesen.
Die Preisgestaltung wurde noch nicht bekannt gegeben. Für Unternehmenseinkäufer wiegt das schwer: Jede Anfrage im mehrstufigen Retrieval erzeugt mehrere Modellaufrufe – wird nach Aufrufen abgerechnet, muss man für 86 Prozent Genauigkeit ein Vielfaches des Stückpreises einplanen, und die Kostenrechnung muss neu aufgestellt werden.
Quellen: offizielle Ankündigung von Mistral, CocoLoop; die Genauigkeitswerte von FinanceBench und OfficeQA Pro sowie die Angaben zu Token-Einsparung und P90-Latenz wurden Punkt für Punkt geprüft.