Ngày 30 tháng 7, Google DeepMind công bố Gemini Robotics 2. Trong video trình diễn, robot hình người Apollo 2 của Apptronik cúi xuống, đi tới kệ, nhặt bình tưới và đặt vào vị trí được chỉ định.
Ba mô hình tạo thành một cơ thể
Gemini Robotics 2 chuyển đầu vào thị giác và ngôn ngữ thành điều khiển động cơ. Gemini Robotics ER 2 hiểu môi trường, giao tiếp với con người và lập kế hoạch nhiều bước. Gemini Robotics On-Device 2 chạy cục bộ trên thiết bị robot.
Carolina Parada nói với WIRED: “It's another milestone in our path towards really getting towards what we call like physical AGI, which means we get a robot to do anything that a human can.” Phần có thể kiểm chứng cụ thể hơn: điều khiển toàn thân, thao tác hai tay, phối hợp nhiều robot, chạy cục bộ và dừng an toàn.
Bàn tay vẫn là điểm yếu
Biểu đồ chính thức cho thấy Apollo 2 với Inspire hands đạt 68,4% khi nhặt từ mặt bàn, 45,7% từ sàn và 76,3% từ kệ. Với bàn tay năm ngón SharpaWave, tháo bóng đèn đạt 92%, vặn bóng đèn vào 36%, buộc túi rác 44%, dùng hót rác 32% và đóng túi ziplock 40%.
Các con số làm rõ điều mà video dễ che đi: robot đã vượt khỏi thao tác trên bàn, nhưng vận động giống bàn tay người vẫn thiếu ổn định.
Điểm cần xem là khả năng lặp lại
Google nói On-Device 2 có thể thích nghi với hình thái robot hai tay mới trong vài giờ, thường với dưới 200 ví dụ. Thẻ mô hình ghi nhận SO101 tăng từ 6,7% lên 53,3%, Dexmate tăng từ 24,4% lên 75,6%. Đây là số liệu trong điều kiện đánh giá của thẻ mô hình.
Các mốc tiếp theo là liệu phần cứng bên thứ ba có lặp lại kết quả thích nghi ít mẫu hay không, các tác vụ nhiều ngón có vượt 50% ổn định hay không, và dừng an toàn khi có người đến gần có hoạt động trong môi trường lộn xộn hay không.
Nguồn: thông báo Google DeepMind, thẻ mô hình Gemini Robotics ER 2 và On-Device 2, Google AI for Developers, CocoLoop, WIRED, The Verge, Sina Finance; đối chiếu phạm vi mô hình, cấu trúc ba mô hình, khẩu kính đánh giá Apollo 2/SharpaWave/Inspire hands, thiết lập 128k/64K, thích nghi dưới 200 ví dụ và kênh phát hành.