Google hat am 19. November in der Gemini API die Vorschauversion von Tool Retrieval (Tool-Abruf) eingeführt. Hängen an einem Agenten Dutzende oder Hunderte Tools, müssen Entwickler nicht mehr bei jeder Anfrage die Parameter-Schemas aller Tools mitschicken: Das Modell sieht zunächst nur Namen und Beschreibung der Tools, holt sich die vollständige Definition erst bei Bedarf über den Namen und setzt den Funktionsaufruf dann in derselben Anfrage ab.
Die Funktion steht derzeit ausschließlich in der Interactions API bereit und unterstützt Gemini 3.6 und höher, darunter alle Gemini-4-Modelle. Googles Ausgangspunkt im Blog ist schlicht: Je mehr Tools, desto stärker steigen bei vollständig mitgesendeten Schemas Eingabe-Tokens und Latenz, und je größer die Auswahl, desto geringer die Wahrscheinlichkeit, dass das Modell das richtige Tool trifft.

Zwei Wege zum Abruf
Standard ist der serverseitige Abruf. Entwickler fügen unter tools einen Eintrag {"type": "tool_search"} hinzu und markieren selten genutzte Tools mit defer_loading; häufig genutzte Tools werden wie gewohnt direkt deklariert. Die Suche läuft auf Googles Servern, einen eigenen Index muss man weder aufbauen noch hosten. Beim Debugging zeigt interaction.steps drei Schrittarten an, nämlich tool_search_call, tool_search_result und function_call. So lässt sich nachvollziehen, ob der Tool-Name oder die Beschreibung zu unklar formuliert war.
Die Alternative ist der clientseitige Abruf: Wer tool_search mit "execution": "client" deklariert, lässt die Anwendung selbst in ihrer Tool-Registry nachschlagen, sobald das Modell eine Suchanfrage stellt, und gibt die passenden Schemas als Funktionsergebnis zurück. Das kostet pro Suche eine zusätzliche Runde, dafür müssen Tools nicht vorab deklariert werden, mitten im Gespräch können neue Tools hinzukommen, die Auswahl lässt sich nach Nutzerrechten filtern, und auch ein eigener Vektorindex lässt sich anbinden.
Auch entfernte MCP-Server werden unterstützt: Setzt man bei einem mcp_server-Tool defer_loading: true, werden alle von diesem Server bereitgestellten Tools erst bei Bedarf geladen. Google weist zudem darauf hin, dass verzögert geladene Schemas nicht am Anfang des Prompts stehen, sondern weiter hinten an die Unterhaltung angehängt werden; der Präfix-Cache über mehrere Gesprächsrunden bleibt dadurch gültig.
"Tool Retrieval has no separate charge. Input and output tokens are billed at the standard rates for the model you call."
(Tool Retrieval wird nicht gesondert berechnet. Eingabe- und Ausgabe-Tokens werden zu den Standardpreisen des aufgerufenen Modells abgerechnet.)
Ob es sich lohnt, hängt von der Größe der Tool-Bibliothek ab
Wer tool_search aktiviert, zahlt einen kleinen festen Block an Eingabe-Tokens, dessen Umfang der Blog nicht nennt; jedes vom Modell geladene Schema wird im weiteren Gesprächsverlauf als Eingabe abgerechnet, genau wie ein vorab deklariertes Tool. Nach Googles Darstellung spart man nur dann Tokens, wenn mehr Schemas ungeladen bleiben als geladen werden, was bei großen Tool-Bibliotheken in der Regel der Fall sei; Entwickler sollten es mit ihrem eigenen Echtverkehr messen. Umgekehrt lohnt sich die Aktivierung für Anwendungen mit wenigen Tools oder solche, die in jeder Runde den Großteil ihrer Tools brauchen, nicht unbedingt.
Dieselbe Idee, Anthropic war einen Schritt früher
Dieses Vorgehen hat die Claude Developer Platform bereits im November des Vorjahres eingeführt. Anthropic nennt es Tool Search Tool, der Parameter für verzögertes Laden heißt ebenfalls defer_loading, und auch dort werden MCP-Server in das Laden bei Bedarf einbezogen. Der Unterschied liegt in den vorgelegten Belegen: Anthropic veröffentlichte damals die Token-Einsparung und die Genauigkeit der Tool-Auswahl aus internen Tests, Google beschreibt diesmal nur Mechanik und Abrechnung, Wirksamkeitsdaten gibt es keine.
Für Teams, die ihre Agenten bereits mit der Claude- oder der OpenAI-Schnittstelle bauen, liegt die Hürde diesmal vor allem in der Schnittstelle selbst. Tool Retrieval gibt es nur in der Interactions API; Gemini-Projekte, die noch auf der älteren Schnittstelle laufen, müssen zuerst migrieren, bevor sie es einschalten können. Kontingente und Ratenlimits nach Ende der Vorschauphase hat Google bislang ebenfalls nicht bekannt gegeben.
Quellen: Google-Entwicklerblog, CocoLoop, Google-AI-Studio-Dokumentation zu Tool Retrieval, Anthropic-Entwicklerdokumentation; geprüft wurden unterstützte Modellversionen, die beiden Abrufmodi, verzögertes Laden bei MCP und die Abrechnungsregeln.