Gemini API ra mắt bản xem trước Tool Retrieval

Ngày 19/11, Google ra mắt bản xem trước của Tool Retrieval (truy xuất công cụ) trong Gemini API. Khi một tác nhân AI kết nối với vài chục đến vài trăm công cụ, nhà phát triển không cần nhét lược đồ tham số (schema) của toàn bộ công cụ vào mỗi yêu cầu nữa: lúc đầu mô hình chỉ thấy tên và mô tả công cụ, cần dùng công cụ nào thì lấy định nghĩa đầy đủ theo tên, rồi phát lệnh gọi hàm ngay trong cùng một yêu cầu.

Hiện tính năng này chỉ có trong Interactions API, hỗ trợ Gemini 3.6 trở lên, bao gồm toàn bộ các mô hình Gemini 4. Lý do Google nêu trong blog khá thẳng: công cụ càng nhiều thì mỗi yêu cầu gửi đủ schema càng làm token đầu vào và độ trễ tăng, và số công cụ ứng viên càng lớn thì xác suất mô hình chọn đúng công cụ càng thấp.

Illustration: only one drawer opens to reveal a wrench, showing how Gemini loads tool definitions on demand.

Hai cách truy xuất

Mặc định là truy xuất phía máy chủ. Nhà phát triển thêm một mục {"type": "tool_search"} vào tools, rồi gắn defer_loading cho các công cụ ít dùng, còn công cụ thường dùng vẫn khai báo trực tiếp như cũ. Việc truy xuất chạy trên máy chủ của Google, nên không phải tự dựng hay tự lưu trữ chỉ mục. Khi gỡ lỗi, trong interaction.steps có thể thấy ba loại bước là tool_search_call, tool_search_result và function_call, giúp xác định vấn đề nằm ở tên công cụ hay ở phần mô tả viết chưa rõ.

Cách còn lại là truy xuất phía máy khách: khi khai báo tool_search, thêm "execution": "client"; sau khi mô hình gửi yêu cầu tìm kiếm, ứng dụng tự tra sổ đăng ký công cụ của mình rồi trả schema khớp về dưới dạng kết quả hàm. Cách này tốn thêm một vòng đi về cho mỗi lần truy xuất, đổi lại công cụ không cần khai báo trước, có thể bổ sung công cụ mới giữa chừng cuộc hội thoại, có thể lọc theo quyền của người dùng, hoặc kết nối với chỉ mục vector riêng.

Máy chủ MCP từ xa cũng áp dụng được: đặt defer_loading: true cho công cụ mcp_server, toàn bộ công cụ mà máy chủ đó cung cấp sẽ chuyển sang tải theo nhu cầu. Google còn cho biết schema tải trễ không nằm ở đầu prompt mà được nối thêm vào phần sau của cuộc hội thoại, nên bộ nhớ đệm tiền tố giữa các lượt không bị vô hiệu.

"Tool Retrieval has no separate charge. Input and output tokens are billed at the standard rates for the model you call."

(Tool Retrieval không tính phí riêng; token đầu vào và đầu ra được tính theo mức giá tiêu chuẩn của mô hình bạn gọi.)

Có tiết kiệm hay không còn tùy quy mô kho công cụ

Bật tool_search sẽ phát sinh thêm một lượng token đầu vào cố định nhỏ, bao nhiêu thì blog không nêu; mỗi schema được mô hình tải về sẽ được tính phí đầu vào trong suốt phần hội thoại sau đó, giống như công cụ khai báo trước. Theo Google, chỉ khi số schema không được tải nhiều hơn số được tải thì mới tiết kiệm được token, và các kho công cụ lớn thường rơi vào trường hợp này; Google khuyến nghị nhà phát triển tự đo bằng lưu lượng thực tế của mình. Ngược lại, với ứng dụng có ít công cụ, hoặc lượt nào cũng dùng đến phần lớn công cụ, bật tính năng này chưa chắc có lợi.

Cùng một ý tưởng, Anthropic đã đi trước một bước

Cách làm này nền tảng dành cho nhà phát triển Claude đã tung ra từ tháng 11 năm ngoái; Anthropic gọi là Tool Search Tool, tham số tải trễ cũng tên là defer_loading, và cũng đưa máy chủ MCP vào diện tải theo nhu cầu. Điểm khác giữa hai bên nằm ở bằng chứng đưa ra: khi đó Anthropic công bố mức tiết kiệm token và độ chính xác khi chọn công cụ trong thử nghiệm nội bộ, còn lần này Google chỉ nói về cơ chế và cách tính phí, không có số liệu hiệu quả nào.

Với các nhóm đã xây tác nhân trên API của Claude hoặc OpenAI, rào cản lần này chủ yếu nằm ở chính giao diện API. Tool Retrieval chỉ dùng được trong Interactions API, các dự án Gemini còn ở API cũ phải di chuyển trước mới bật được. Hạn mức và giới hạn tốc độ sau khi kết thúc giai đoạn xem trước, hiện Google cũng chưa công bố.

Nguồn tham khảo: blog dành cho nhà phát triển của Google, CocoLoop, tài liệu Tool Retrieval của Google AI Studio, tài liệu dành cho nhà phát triển của Anthropic; đã đối chiếu các phiên bản mô hình được hỗ trợ, hai chế độ truy xuất, cơ chế tải trễ với MCP và quy tắc tính phí.