Gemini API luncurkan pratinjau Tool Retrieval

Pada 19 November, Google meluncurkan pratinjau Tool Retrieval (pencarian tool) di Gemini API. Ketika sebuah agen terhubung ke puluhan hingga ratusan tool, pengembang tidak perlu lagi memasukkan skema parameter semua tool ke setiap permintaan. Model pada awalnya hanya melihat nama dan deskripsi tool, mengambil definisi lengkapnya berdasarkan nama saat membutuhkannya, lalu mengeluarkan pemanggilan fungsi dalam permintaan yang sama.

Untuk saat ini fitur tersebut hanya tersedia di Interactions API, mendukung Gemini 3.6 ke atas, termasuk semua model Gemini 4. Alasan yang dikemukakan Google di blognya cukup lugas: makin banyak tool, mengirim skema lengkap di setiap permintaan membuat token input dan latensi naik, dan makin banyak kandidat tool, makin kecil peluang model memilih tool yang tepat.

Illustration: only one drawer opens to reveal a wrench, showing how Gemini loads tool definitions on demand.

Dua cara pengambilan

Pengaturan bawaannya adalah pencarian di sisi server. Pengembang menambahkan satu entri {"type": "tool_search"} ke tools, lalu menandai tool yang jarang dipakai dengan defer_loading, sementara tool yang sering dipakai tetap dideklarasikan langsung seperti biasa. Pencarian berjalan di server Google, sehingga pengembang tidak perlu membangun maupun menghosting indeks sendiri. Saat debugging, interaction.steps menampilkan tiga jenis langkah, yaitu tool_search_call, tool_search_result, dan function_call, yang membantu menelusuri apakah nama atau deskripsi tool yang kurang jelas.

Cara lainnya adalah pencarian di sisi klien: saat mendeklarasikan tool_search, tambahkan "execution": "client". Setelah model mengirim permintaan pencarian, aplikasi sendiri yang menelusuri registri tool dan mengembalikan skema yang cocok sebagai hasil fungsi. Setiap pencarian jadi menambah satu kali bolak-balik, tetapi sebagai gantinya tool tidak perlu dideklarasikan di awal, tool baru bisa ditambahkan di tengah percakapan, hasil dapat disaring berdasarkan izin pengguna, dan aplikasi bisa menyambungkan indeks vektornya sendiri.

Server MCP jarak jauh juga didukung: setel defer_loading: true pada tool mcp_server, dan semua tool yang diekspos server itu beralih ke pemuatan sesuai kebutuhan. Google juga menyebut bahwa skema yang ditunda tidak ditempatkan di awal prompt; skema yang dimuat belakangan ditambahkan di bagian akhir percakapan, sehingga cache prefiks antargiliran tidak menjadi tidak valid.

"Tool Retrieval has no separate charge. Input and output tokens are billed at the standard rates for the model you call."

Hemat atau tidak, tergantung ukuran pustaka tool

Mengaktifkan tool_search menambah sedikit token input tetap; berapa besarnya tidak disebutkan di blog. Setiap skema yang dimuat model ditagih sebagai input di sepanjang sisa percakapan, sama seperti tool yang dideklarasikan di awal. Menurut Google, token baru benar-benar terhemat jika skema yang tidak dimuat lebih banyak daripada yang dimuat, dan pustaka tool besar biasanya memenuhi kondisi itu. Google menyarankan pengembang menguji dengan lalu lintas nyata mereka sendiri. Sebaliknya, untuk aplikasi dengan tool yang sedikit, atau yang memakai sebagian besar tool di setiap giliran, mengaktifkannya belum tentu menguntungkan.

Gagasan yang sama, Anthropic melangkah lebih dulu

Pendekatan ini sudah diluncurkan platform pengembang Claude pada November tahun lalu. Anthropic menyebutnya Tool Search Tool, parameter penundaan pemuatannya juga bernama defer_loading, dan server MCP pun dimasukkan ke dalam pemuatan sesuai kebutuhan. Perbedaan kedua perusahaan ada pada bukti yang disajikan: Anthropic waktu itu mengumumkan besar penghematan token dan akurasi pemilihan tool dari pengujian internalnya, sedangkan Google kali ini hanya menjelaskan mekanisme dan penagihan, tanpa satu pun data hasil.

Bagi tim yang sudah membangun agen dengan API Claude atau OpenAI, hambatan kali ini terutama ada pada antarmukanya sendiri. Pencarian tool hanya tersedia di Interactions API, sehingga proyek Gemini yang masih memakai API lama harus bermigrasi dulu sebelum dapat mengaktifkannya. Kuota dan batas laju setelah masa pratinjau berakhir juga belum diumumkan Google.

Sumber: Blog pengembang Google, CocoLoop, dokumentasi pencarian tool Google AI Studio, dokumentasi pengembang Anthropic; kami memeriksa versi model yang didukung, dua mode pencarian, pemuatan tertunda MCP, dan aturan penagihan.