Google Cloud memperbarui indeks ScaNN pada AlloyDB, dan kini batas skala resminya diklaim mampu menangani lebih dari 10 miliar vektor. Pada skala ini, angka benchmark resmi menunjukkan latensi P95 di bawah 51 milidetik dengan recall 95%. AlloyDB sendiri adalah layanan basis data terkelola milik Google Cloud yang kompatibel dengan antarmuka PostgreSQL.
Perubahan ini terletak pada struktur indeksnya. ScaNN sebelumnya menyusun vektor menggunakan pohon dua atau tiga lapis; pembaruan kali ini menambahkan lapisan keempat.
Satu lapisan pohon lagi, jumlah pencarian turun dua orde besaran
Pencarian tetangga terdekat hampiran bekerja dengan mengelompokkan vektor ke dalam lapisan-lapisan klaster berdasarkan kemiripan, lalu saat kueri berjalan, proses menelusuri dari lapisan teratas ke bawah, hanya membuka cabang terdekat di tiap lapisan. Jumlah lapisan menentukan kompleksitas pencarian: pohon dua lapis berjalan sekitar O(N^1/2), pohon tiga lapis turun ke O(N^1/3), dan pohon empat lapis menekannya lebih jauh ke O(N^1/4).
Pada skala 10 miliar, selisih pangkat ini menjadi sangat besar. Perhitungan kasarnya: dengan N sebesar 10 miliar, akar kuadratnya sekitar 100.000, akar pangkat tiganya sekitar 2.150, dan akar pangkat empatnya sekitar 316. Jumlah kandidat yang harus disentuh satu kueri turun dari kisaran ratusan ribu menjadi sekitar 300 saja. Dari sinilah angka 51 milidetik itu berasal.
Google merinci sejumlah teknik spesifik di balik pencapaian ini, termasuk strategi percabangan Top-K, algoritme SOAR, penyesuaian sentroid, dan konstruksi pohon seimbang, ditambah sampling dinamis untuk menyiasati batas memori. Google menyebut dua titik lemah utama pada struktur lama: semakin besar pohonnya, semakin besar pula beban komputasi untuk membangun indeks dan menelusuri kueri; dan sampling pada skala 10 miliar vektor cenderung menghabiskan memori yang tersedia.
AI agent yang mendorong volume data naik
Menurut penjelasan Google sendiri, kebutuhan aplikasi AI agent di level enterprise mendorong kasus penggunaan ke skala miliaran vektor, dan basis data vektor yang menjadi fondasinya sering kali tidak mampu mengimbangi.
Kalimat ini menunjukkan dari mana asal lonjakan skala kali ini. Pada skenario retrieval-augmented generation tradisional, sebuah perusahaan memecah seluruh dokumen internalnya menjadi potongan-potongan kecil, dengan skala biasanya berkisar puluhan juta hingga ratusan juta. AI agent berbeda: setiap langkah yang diambilnya bisa berarti menengok kembali riwayat, memeriksa dokumentasi tool, atau mengecek preferensi pengguna — satu tugas saja bisa memicu belasan kali pencarian. Sumber data pun meluas dari sekadar dokumen menjadi catatan sesi, log operasi, hingga hasil antara, dan semuanya terus bertambah setiap hari.
Mari hitung lagi. Dengan P95 sebesar 51 milidetik, satu tugas AI agent yang menjalankan 15 kali pencarian akan menghabiskan sekitar 0,77 detik hanya pada basis data vektor saja. Ini baru bagian basis datanya; inferensi model, pemanggilan tool, dan bolak-balik jaringan harus dihitung terpisah. Latensi pencarian terasa sepele dalam satu interaksi tunggal, tetapi ketika ditumpuk dalam rantai multi-langkah, ia menjadi bagian dari apa yang benar-benar dirasakan pengguna.
Basis data serba guna mulai menyerap produk khusus
Menanamkan pencarian vektor skala 10 miliar ke dalam layanan terkelola yang kompatibel dengan PostgreSQL menunjuk pada arah yang sama: vektor tidak lagi membutuhkan infrastruktur khususnya sendiri.
Bagi pelanggan enterprise, perhitungannya sederhana. Data bisnis memang sudah ada di basis data relasional — tabel pengguna, tabel pesanan, aturan hak akses, semuanya di sana. Menempatkan vektor secara terpisah di basis data khusus berarti harus menjaga dua sistem backup, dua model hak akses, dua jaminan konsistensi, dan menangani sendiri batas transaksi lintas basis data. Kalau cukup dengan menambahkan indeks ke basis data yang sudah ada, kompleksitas operasional langsung terpangkas hampir separuhnya.
Posisi basis data vektor khusus pun bergeser dalam dua tahun terakhir. Mereka masih unggul dalam performa ekstrem dan kecepatan iterasi algoritme pencarian, tetapi basis data serba guna terus menaikkan standar "cukup memadai" — dari jutaan, ke ratusan juta, kini ke miliaran. Ruang yang tersisa untuk produk khusus makin menyempit, hanya tersisa pada segmen kecil dengan tuntutan latensi dan throughput paling ketat.
Kali ini AlloyDB tidak mengumumkan jumlah partisi, dimensi vektor, waktu pembangunan indeks, maupun batas atas QPS. Angka-angka ini sering kali lebih berguna dalam evaluasi nyata dibanding skala puncaknya, terutama waktu pembangunan indeks — sebab biaya membangun ulang indeks pada skala 10 miliar bisa jadi sangat mahal.
Sumber: Blog resmi Google Cloud, dokumentasi indeks ScaNN AlloyDB, CocoLoop; angka skala vektor, latensi P95, dan recall mengacu pada pengumuman resmi, sementara konversi kompleksitas merupakan perkiraan kasar dari redaksi.