Gemini Biarkan Model Pilih Sendiri Frame Video, Hemat Token hingga 88%

Pada 1 September, Google merilis mode pemrosesan video bernama agentic video di Gemini API, yang menyerahkan keputusan "bagaimana cara menonton video" kepada model itu sendiri. Fitur ini langsung tersedia bagi developer, akan digulirkan ke aplikasi Gemini secara bertahap, dan fitur Ask YouTube di YouTube direncanakan mengadopsinya dalam beberapa bulan ke depan.

Tiga angka penting

Perubahan ini terjadi di lapisan pengambilan sampel. Selama ini Gemini memproses video dengan frame rate tetap, defaultnya satu frame per detik, tanpa membedakan apakah materinya rekaman konferensi pers atau kamera pengawas — semua dimasukkan ke context window dengan ritme yang sama. Pada mode baru, model dilengkapi alat video native dan, sambil bernalar, memutuskan segmen mana yang dilihat, dengan kecepatan berapa, serta apakah mengambil frame visual, audio, atau subtitle — hanya mengambil momen yang benar-benar dibutuhkan.

Hasil perbandingan yang dirilis Google: konsumsi token turun hingga 88%, biaya turun hingga 66%, dan akurasi naik hingga 7%. Google juga menyebut Gemini 3.7 Flash kini berada di titik Pareto frontier untuk analisis video — pada tingkat harga tertentu tidak ada yang lebih akurat, dan pada tingkat akurasi tertentu tidak ada yang lebih murah.

Dari ketiga angka itu, yang paling berlawanan dengan intuisi adalah yang ketiga. Downsampling biasanya berarti kehilangan informasi — menonton lebih sedikit seharusnya berarti tahu lebih sedikit. Di sini akurasi malah bisa naik karena frame rate tetap sekaligus menyimpan pemborosan dan kebocoran informasi: dalam rekaman rapat dua jam, sebagian besar frame menampilkan orang yang sama di depan slide yang sama, dan pengulangan ini menghabiskan anggaran context; sementara momen yang benar-benar penting bisa saja terjadi dalam waktu kurang dari satu detik — persis yang terlewat oleh sampling 1 FPS. Mengambil segmen sesuai kebutuhan memangkas frame yang redundan sekaligus memungkinkan kepadatan sampling dinaikkan di bagian yang perlu.

Hitungan kasar

Satu jam rekaman pada satu frame per detik menghasilkan 3.600 frame; jika dimasukkan satu per satu ke context, jumlah token input bisa mencapai enam digit (perkiraan kasar). Angka ini yang selama ini membuat banyak kebutuhan tidak berani dijalankan: rekaman siaran langsung tiga jam, rekaman kamera toko selama seminggu, satu film dokumenter utuh — biaya untuk sekadar membaca materi sekali saja sudah melebihi nilai bisnisnya. Setelah dipangkas 88%, angkanya turun ke lima digit, dan di titik itulah analisis video panjang beranjak dari sekadar demo menjadi fitur produk.

Perubahan yang berulang kali dilakukan Google pada lini Flash tahun ini sebagian besar mengarah ke biaya per unit. Kemajuan sebelumnya di bidang video adalah memperpanjang durasi yang bisa diproses dalam satu kali jalan; kali ini fokusnya berganti ke menekan biaya per unit durasi. Kedua hal ini digabungkan, efeknya lebih terasa dibanding kalau hanya salah satu yang didorong.

Cakupan dukungan dan cara mengaktifkan

Model yang mendukung fitur ini adalah Gemini 3.7 Flash, 3.6 Flash, dan 3.5 Flash-Lite, dengan akses melalui Gemini API (via Google AI Studio) dan Gemini Enterprise Agent Platform. Penagihan tetap mengikuti harga token standar Gemini API, tanpa biaya tambahan untuk fitur ini — penghematan token langsung tercermin di tagihan. Perubahan di sisi developer relatif kecil, cukup mengatur mode pemrosesan menjadi agentic di konfigurasi.

Empat kasus penggunaan utama yang disebutkan Google juga menunjukkan segmen yang dibidik: pencarian lokasi klip hingga level sub-detik untuk keperluan editing; pencarian jarum dalam tumpukan jerami di video berdurasi berjam-jam; deteksi anomali lewat resampling dinamis; serta penghitungan aksi dan objek secara akurat sepanjang garis waktu. Dua kasus pertama condong ke industri konten dan media, dua kasus terakhir jelas menyasar pengawasan, inspeksi kualitas, dan patroli lapangan.

Artinya bagi tim yang menjalankan pipeline video

Tim yang menangani distribusi video pendek, quality control siaran langsung, atau peninjauan rekaman keamanan selama ini sering kali merasa hitungan analisis video panjang tidak masuk akal secara biaya — cara umum yang dipakai adalah menyaring kasar dulu dengan model murah atau computer vision konvensional, baru menyerahkan klip yang mencurigakan ke model besar. Setelah keputusan sampling dipindahkan ke model, satu tahap dalam pipeline ini berpotensi bisa dihilangkan — penyaringan kasar itu sendiri kini menyatu ke dalam proses penalaran model.

Satu catatan yang perlu digarisbawahi: angka 88%, 66%, dan 7% semuanya adalah angka "hingga" — nilai batas atas dalam skenario paling menguntungkan. Google tidak merilis sebaran seberapa jauh keuntungan ini bisa menurun untuk jenis materi atau jenis tugas yang berbeda. Sebelum dipakai di produksi, tetap perlu diuji banding dengan materi milik sendiri.

Sumber: blog resmi Google, CocoLoop, Google DeepMind. Angka penurunan token 88%, penurunan biaya 66%, kenaikan akurasi 7%, model yang didukung, serta metode penagihan telah diperiksa sesuai pengumuman resmi; perhitungan jumlah frame merupakan perkiraan kasar dari editor.