Pixel 11 mendapat cara input yang tidak bergantung pada suara. Pengguna dapat berisyarat dalam American Sign Language, lalu Gboard atau Live Transcribe mengubahnya menjadi teks Inggris.
Google DeepMind memperkenalkan SL2T pada 12 Agustus. Dukungan awalnya adalah ASL ke Inggris di Pixel 11, dengan perangkat dan bahasa tambahan menyusul. Artinya, isyarat dapat dipakai untuk pencarian web, pesan, dokumen, permintaan ke Gemini, dan balasan di Live Transcribe.
Bahasa isyarat bukan bahasa Inggris di tangan
Bahasa isyarat adalah bahasa alami mandiri dengan tata bahasa, kosakata, ekspresi wajah, dan struktur ruang sendiri. Karena itu, SL2T dibangun sebagai model penerjemahan, bukan pengenal gestur per bingkai.
DeepMind mengatakan SL2T dilatih dengan lebih dari 100.000 jam data dari lebih dari 50 bahasa isyarat, sekitar seperempatnya ASL. Pada evaluasi FLEURS-ASL untuk ASL ke Inggris, model ini mencatat skor zero-shot 70 BLEURT. Secara global, sekitar 70 juta orang Tuli dan kurang dengar menggunakan bahasa isyarat.
Privasi dimulai dari landmark tubuh
SL2T tidak langsung mengirim video kamera mentah untuk diterjemahkan. Model MediaPipe Holistic di perangkat melacak landmark tubuh, lalu urutan koordinat diterjemahkan di server. Permukaan data lebih kecil dibanding unggahan video penuh, meski data pose tetap perlu dikelola hati-hati.
Uji kegunaannya berada di luar skor benchmark. Google menyebut timnya menangani latensi streaming, halusinasi saat input bukan bahasa isyarat, pengguna kidal, dan isyarat satu tangan ketika pengguna memegang ponsel.
Apa yang perlu dipantau
Rilis pertama masih sempit: ASL ke Inggris di Pixel 11. Sinyal berikutnya adalah apakah Google dapat memperluasnya ke lebih banyak bahasa isyarat, terutama bahasa dengan data terbatas. Sinyal lain adalah apakah input isyarat menjadi lapisan aksesibilitas umum untuk panggilan, pendidikan, layanan pelanggan, dan alur kerja AI.
SL2T bukan sekadar fitur AI ponsel. Ia menyatukan skala model, aksesibilitas, arsitektur privasi, dan data bahasa minoritas dalam satu uji produk.
Sumber: rilis resmi Google DeepMind, materi benchmark FLEURS-ASL, SiliconANGLE, CocoLoop, Engadget; memeriksa cakupan peluncuran SL2T, integrasi Pixel 11/Gboard/Live Transcribe, lebih dari 100.000 jam data pelatihan, lebih dari 50 bahasa isyarat, cakupan skor 70 BLEURT, alur landmark MediaPipe Holistic, dan dukungan awal ASL-ke-Inggris.