Gemini API 推出工具檢索預覽版

Google 於 11 月 19 日在 Gemini API 推出 Tool Retrieval(工具檢索)預覽版。智慧代理串接數十、上百個工具時,開發者不必在每次請求中塞進全部工具的參數 schema:模型起初只看到工具名稱與描述,需要用哪個再依名稱取得完整定義,接著在同一次請求中發出函式呼叫。

這項功能目前僅開放於 Interactions API,支援 Gemini 3.6 以上版本,包括所有 Gemini 4 模型。Google 在部落格中說明的出發點很直接:工具一多,每次請求都送出完整 schema,輸入 token 與延遲都會增加,候選工具越多,模型選對工具的機率也越低。

示意图:一排抽屉中只有一格打开露出扳手,象征 Gemini 按需加载工具定义

兩種取得方式

預設為伺服器端檢索。開發者在 tools 中加入一項 {"type": "tool_search"},再為不常用的工具標上 defer_loading,常用工具則照舊直接宣告。檢索在 Google 伺服器端執行,不必自行建立或代管索引。除錯時,interaction.steps 中會看到 tool_search_call、tool_search_result 與 function_call 三類步驟,方便找出問題出在工具名稱還是描述寫得不清楚。

另一種是用戶端檢索:宣告 tool_search 時加上 "execution": "client",模型送出檢索請求後,由應用程式自行查詢工具登錄表,再把符合的 schema 當作函式結果回傳。這樣每次檢索會多一次往返,換來的是工具不必預先宣告、對話途中可以新增工具,也能依使用者權限過濾,或串接自家的向量索引。

遠端 MCP 伺服器同樣適用:對 mcp_server 工具設定 defer_loading: true,該伺服器公開的所有工具都會改為按需載入。Google 還提到,延遲載入的 schema 不會放在提示詞開頭,後載入的 schema 會附加在對話後段,因此多輪對話之間的前綴快取不會因此失效。

"Tool Retrieval has no separate charge. Input and output tokens are billed at the standard rates for the model you call."

省不省,要看工具庫大小

啟用 tool_search 會多出一小塊固定的輸入 token,實際多少,部落格沒有寫;模型每載入一個 schema,該 schema 在後續對話中都按輸入計費,與預先宣告的工具相同。Google 的說法是,未被載入的 schema 多於被載入的 schema 時才省得到 token,大型工具庫通常屬於這種情況,並建議開發者用自己的真實流量來測試。反過來,工具不多,或每輪都會用到大部分工具的應用,開啟後未必划算。

同樣的思路,Anthropic 先走一步

這套做法,Claude 開發者平台去年 11 月就推出過,Anthropic 稱之為 Tool Search Tool,延遲載入的參數同樣叫 defer_loading,也同樣把 MCP 伺服器納入按需載入。兩家的差別在於提出的佐證:Anthropic 當時公布了內部測試中的 token 節省幅度與工具選擇準確率,Google 這次只說明了機制與計費,成效數據一項都沒有給。

對已經用 Claude 或 OpenAI 的 API 打造智慧代理的團隊來說,這次的門檻主要在介面本身。工具檢索只能在 Interactions API 中使用,仍停留在舊介面的 Gemini 專案,得先完成遷移才能開啟。預覽期結束後的配額與速率限制,Google 目前也尚未公布。

參考來源:Google 開發者部落格、CocoLoop、Google AI Studio 工具檢索文件、Anthropic 開發者文件;已查核支援的模型版本、兩種檢索模式、MCP 延遲載入與計費規則。