Mistralが発表したAgentic Searchは、文書検索を一発の呼び出しから多段階の操作へと変えるものだ。システムはモデルにsearch、open、navigate、read、grepという5つのツールを与える。モデルはまず一通り検索し、ヒットしたファイルを開いて中身を確認し、該当箇所までページを送る。読んでみておかしいと気付けばキーワードを変えて検索し直し、確認が取れてから初めて回答する。
この手法は2つのベンチマークで大きな成果を上げている。米国上場企業のSEC提出書類を扱うFinanceBenchでは、正解率が26.7%から86%へと3倍以上に伸びた。米財務省の公報を題材とするOfficeQA Proでも6.3%から51.9%へと、45.6ポイント上昇した。
一発検索はどこで行き詰まるのか
標準的なRAGの流れは、文書をチャンクに分割し、ベクトルを計算し、質問に最も近いチャンクをいくつか呼び出し、コンテキストに詰め込んでモデルに答えさせるというものだ。このパイプラインは「ある年の売上高はいくらか」といった質問には十分対応できるが、「過去3年間のフリーキャッシュフローを並べ、算定基準の変更点も説明せよ」となると途端に機能しなくなる。
機能不全の原因は、チャンク分割の段階ですでに埋め込まれている。財務諸表中の一つの数字を正しく読み取るには、多くの場合3つの要素が必要になる。表中の数値、その下の脚注、そして前段のどこかにある会計基準についての説明だ。この3つは数十ページ離れた場所に散らばっていることが多く、ベクトル検索は意味的な類似度で順位付けするため、脚注や基準説明は上位に入ってこないことが多い。モデルは孤立した数字だけを受け取り、そのまま読み上げるしかなく、間違っていても気付けない。
多段階検索はこのプロセスを、人が文書をめくって読む動作に近づけたものだ。まず場所を特定し、そこから展開し、「詳細は注記12参照」とあれば飛んで確認し、また戻ってくる。grepというツールの存在自体が示唆に富む。ベクトル検索は曖昧な意味マッチングを得意とするが、「Note 12」のような正確な文字列の検索では、むしろ従来型の全文一致の方が信頼できる。この2種類の検索方式が、同じツールセットの中でそれぞれの持ち場を受け持っている。
見落とされがちな利点もここに隠れている。一発検索の回答は遡って確認できない。モデルが売上高をある数字だと答えても、ユーザーがそれをどのページから取ったのか知りたければ、自分で文書を読み返すしかない。多段階検索では各ステップが明示的なツール呼び出しであり、どのファイルを開いたか、どの節に飛んだか、どの文字列にマッチしたかがすべて履歴に残る。金融や法務の現場では、この経路そのものが成果物の一部であり、正解を出すだけでなく、なぜそれが正解なのかを示せることが求められる。
何度も回すほうがむしろ安上がりに
多段階の操作は、常識的に考えれば回数もトークン数も待ち時間も増えるはずだ。だがMistralが示した数字は逆だった。トークン使用量は最大33.7%減、P90レイテンシは39.6%減となり、FinanceBenchでは255秒から154秒に短縮された。
この数字が成り立つのは、比較対象があってこそだ。一発型のRAGは取りこぼしを避けるため呼び出しチャンク数を大きめに設定しがちで、20個、80個とコンテキストに詰め込むが、その大半は質問と関係がない。多段階検索は各ラウンドで必要な部分だけを読む。ラウンド数は増えるものの、1回あたりの入力は短く、合計すると節約になる。
レイテンシの方はエンジニアリングへの依存度が高い。P90が下がったということは、「検索に失敗し、モデルが数字をでっち上げ、答えが的外れになり、やり直しが必要になる」という裾野のケースが減ったことを意味する。一発検索の失敗は静かに起きる。モデルは自分が脚注を取得できていないことにすら気付かない。多段階検索ではモデル自身が見つけられていないことに気付き、もう一度検索するため、裾野がむしろ狭まる。
中国語文書に持ち込む際の2つの関門
Mistralが提供する形態はSearch ToolkitとLibrariesで、すでにStudioとVibeに統合済みであり、クラウドとオンプレミスの両方の展開に対応する。オンプレミス対応は、金融、医療、行政など文書を外部に出せない業界にとって必須要件であり、Mistralは以前からこれを米国勢との差別化ポイントに位置付けてきた。
この仕組みを中国語文書に持ち込むと、新たに2つの問題にぶつかる。一つはgrepだ。中国語には単語の区切りがないため、正確一致による恩恵は英語に比べて小さく、大まかに見積もってもマッチノイズはかなり増える。もう一つは、中国国内の目論見書や年次報告書、政策文書の多くがスキャン画像や非標準的な表を大量に含んでいる点で、readのステップが表の構造を正しく復元できるかどうかが、後続のステップが「読む」のか「推測する」のかを直接左右する。
もう一つ注意すべきなのはベンチマーク自体だ。FinanceBenchとOfficeQA Proはいずれも公開の問題集であり、問題も文書もすでにネット上に出回っている。どのベンダーであれ、自社システムをこれらで検証すれば、学習データ汚染の可能性が付きまとう。26.7%という出発点はやや目を引くほど低く、それがどのRAG構成に対応するのか、呼び出しチャンク数をいくつに設定したのか、どの基盤モデルを使ったのかは公式発表では明かされていない。改善の方向性は信頼できるが、倍率については割り引いて見る必要がある。
価格はまだ公表されていない。企業の調達にとってこの点は重い。多段階検索は1回の問答で複数回のモデル呼び出しが発生するため、呼び出し課金であれば、86%の正解率を得るのに単価の何倍ものコストがかかる可能性があり、コスト計算をやり直す必要がある。
参考資料：Mistral公式発表、CocoLoop；FinanceBenchとOfficeQA Proの正解率、トークン削減率、P90レイテンシの数値は個別に確認済み。