Google DeepMind memperkenalkan Gemini Robotics 2 pada 30 Juli. Dalam demo, humanoid Apollo 2 dari Apptronik membungkuk, berjalan ke rak, mengambil penyiram tanaman, lalu meletakkannya di tempat yang diminta.
Tiga model dalam satu tumpukan
Gemini Robotics 2 mengubah input visual dan bahasa menjadi kendali motor. Gemini Robotics ER 2 memahami lingkungan, berbicara dengan manusia, dan merencanakan tugas bertahap. Gemini Robotics On-Device 2 berjalan secara lokal pada perangkat robot.
Carolina Parada mengatakan kepada WIRED: “It's another milestone in our path towards really getting towards what we call like physical AGI, which means we get a robot to do anything that a human can.” Bagian yang bisa diperiksa lebih sempit: kendali seluruh tubuh, manipulasi dua tangan, kerja sama multi-robot, eksekusi lokal, dan penghentian aman.
Angka tangan masih timpang
Grafik resmi menunjukkan Apollo 2 dengan Inspire hands berhasil mengambil objek dari meja 68,4%, dari lantai 45,7%, dan dari rak 76,3%. Dengan tangan lima jari SharpaWave, membuka bohlam mencapai 92%, memasang bohlam 36%, mengikat kantong sampah 44%, memakai pengki 32%, dan menutup ziplock 40%.
Artinya, sistem sudah bergerak melewati manipulasi meja, tetapi tugas yang paling mirip tangan manusia masih belum stabil.
Ujian berikutnya adalah reproduksi
Google mengatakan On-Device 2 dapat beradaptasi ke bentuk robot berlengan dua yang baru dalam beberapa jam, biasanya dengan kurang dari 200 contoh. Kartu model mencatat keberhasilan SO101 naik dari 6,7% ke 53,3%, dan Dexmate dari 24,4% ke 75,6%. Angka ini berlaku untuk evaluasi kartu model, bukan jaminan umum untuk semua robot.
Yang perlu dipantau adalah apakah perangkat keras pihak ketiga bisa mengulang hasil adaptasi ini, apakah tugas multi-jari yang rendah bisa melewati 50%, dan apakah penghentian aman bekerja di lingkungan kerja yang berantakan.
Sumber: rilis Google DeepMind, kartu model Gemini Robotics ER 2 dan On-Device 2, Google AI for Developers, CocoLoop, WIRED, The Verge, Sina Finance; verifikasi cakupan model, pembagian tiga model, evaluasi Apollo 2/SharpaWave/Inspire hands, pengaturan 128k/64K, adaptasi kurang dari 200 contoh, dan kanal ketersediaan.