Sebuah video demonstrasi berdurasi tiga hingga dua belas detik, lengkap dengan data gerakan yang direkam secara bersamaan, dimasukkan ke jendela konteks model, dan robot pun langsung mengerjakan tugas yang belum pernah dilatihnya — tanpa pembaruan gradien, tanpa fine-tuning, tak satu pun bobot yang berubah. Generalist AI menyebut pendekatan ini "physical prompting", diumumkan bersamaan dengan model barunya, GEN-1.5.
GEN-1.5 adalah model multimodal besar yang menerima empat jenis input — video, pembacaan sensor, instruksi bahasa, dan propriosepsi — mempertahankan jendela memori 30 detik, dan menghasilkan lintasan gerakan pada 100 Hz. Tim menyebutkan model ini telah dilatih terus-menerus di atas data engine mereka selama lebih dari delapan bulan.
Rentang yang dibentuk tiga angka
Pengujian resmi dilakukan pada 10 tugas manipulasi — membuka toples kaca, membuka ritsleting tempat pensil, mengambil uang dari dompet, dan sejenisnya. Dengan prompting satu demo dalam konteks, rata-rata tingkat keberhasilan mencapai 59% (standar deviasi ±10%). Beralih ke pengumpulan data lima menit per tugas — sekitar 50 demonstrasi — lalu 10 langkah pembaruan gradien, angkanya naik menjadi 83% (±9%). Pada tugas yang belum pernah dilihat dengan satu langkah adaptasi, hasilnya 66,5%.
Selisih 24 poin persentase itu berharga lima menit waktu pengumpulan data plus satu putaran antrean pelatihan. Bagi lini produksi yang harus berganti puluhan jenis komponen, hitungannya tidak sulit: jalur fine-tuning mengharuskan pengumpulan data dan pelatihan ulang setiap kali SKU berganti, sementara prompting kontekstual hanya soal detik. Hanya saja, tingkat 59% masih jauh dari operasi tanpa pengawasan; untuk saat ini pendekatan ini lebih mirip cara menghemat langkah pemrograman ulang dalam kolaborasi manusia-robot.
Bandingkan ini dengan pendekatan para pemain sejenis di China. Perusahaan seperti Alibaba, AgiBot, dan Unitree sepanjang setahun terakhir masih berfokus pada perluasan skala data dan penyempurnaan perangkat keras, mendorong tingkat keberhasilan tugas tunggal lewat sampel teleoperasi dalam jumlah besar — namun tetap harus mengulang pengumpulan data dan pelatihan setiap kali tugas berganti. GEN-1.5 memilih jalur berbeda: melepas skor puncak pada tugas tunggal demi kebebasan berganti tugas tanpa menyentuh bobot. Perhitungan kasarnya, bagi pabrik yang harus menghadirkan tiga hingga lima stasiun kerja baru setiap minggu, kedua pendekatan ini bisa berbeda hingga satu orde besaran dalam biaya tenaga kerja saat penerapan.
Bahkan timnya sendiri terkejut
"Inserting a single demonstration in the context buffer... yields any measurable competence at all was unexpected." (Memasukkan satu demonstrasi ke dalam buffer konteks... ternyata bisa menghasilkan kompetensi yang terukur sama sekali, ini di luar dugaan.)
Kalimat ini menangkap bobot dari keseluruhan temuan. In-context learning pada model bahasa juga dulu "muncul" begitu saja pada era GPT-3, tanpa ada yang melatihnya secara khusus untuk itu; yang kini dilaporkan Generalist tampaknya jenis kemunculan yang sama, tapi terjadi di sisi sensor dan sudut sendi. Perusahaan ini didirikan pada 2024 oleh mantan peneliti DeepMind dan Boston Dynamics, dan sebelumnya telah mengumpulkan pendanaan senilai 400 juta dolar AS.
Batasan yang diakui sendiri oleh perusahaan
Pengumuman ini tidak menutupi sejumlah kelemahan: tugas-tugas yang diuji semuanya berdurasi pendek dan sederhana, sehingga tingkat keberhasilannya belum mengesankan; keterampilan yang dipelajari secara kontekstual jauh lebih rapuh dibanding model yang sudah di-fine-tune; physical prompting juga menciptakan lompatan pada garis waktu yang tidak pernah terlihat selama pelatihan, sehingga ada celah antara klip demo dan eksekusi sesungguhnya.
Semua keterbatasan ini mengarah pada kesimpulan yang sama: jalur mempelajari keterampilan baru dari satu demonstrasi baru saja mulai menampakkan diri. Apakah bisa bertahan pada tugas jangka panjang, apakah bisa stabil di lingkungan yang berantakan, semua bergantung pada seberapa jauh versi-versi berikutnya mampu mendorong angka 59% itu naik.
Sumber: postingan resmi pengumuman GEN-1.5 di blog Generalist AI, IoT Tech News, CocoLoop; angka keberhasilan 59% untuk demo tunggal, 83% setelah fine-tuning, 66,5% untuk tugas yang belum pernah dilihat, jendela memori 30 detik, dan frekuensi gerakan 100 Hz semuanya mengikuti angka dari pengumuman resmi.