Zeva Tsinghua Naikkan Keberhasilan dari 26% ke 73% Tanpa Ubah Bobot

Institute for AI Industry Research (AIR) Universitas Tsinghua bersama Domain Transform merilis riset manipulasi embodied baru dengan metode bernama Zeva. Pendekatannya cukup jarang ditemui di bidang ini: bobot model dibekukan sepenuhnya sepanjang proses, tanpa ada pembaruan gradien sama sekali, sementara robot terus meningkatkan performanya sendiri selama masa deployment hanya lewat konteks. Di beberapa benchmark embodied, tingkat keberhasilan kumulatif naik dari 26% menjadi 73%.

Pendekatan arus utama adalah mengumpulkan data, memberi label, melakukan fine-tuning pada model VLA, lalu mengulangi siklus itu setiap kali muncul skenario baru. Zeva memindahkan seluruh proses ini ke sisi inferensi — yang direkam adalah hubungan kausal antara aksi dan perubahan state, lalu hubungan ini diberikan kembali sebagai prompt ke model dasar yang dibekukan. Backbone yang dipakai dalam paper ini adalah Cosmos3.

Tiga komponen

Causal transfer encoder bertugas mengekstrak perubahan state dari setiap aksi, memasangkan "apa yang saya lakukan" dengan "bagaimana lingkungan berubah". Langkah ini adalah tahap pengambilan data dari keseluruhan metode, dan akurasi ekstraksinya langsung menentukan apakah tahap berikutnya bisa dipakai atau tidak.

Memori kausal terbagi ke dalam dua skala waktu. Lapisan pendek disebut brief interaction trajectory, yang hanya menangani percobaan saat ini. Lapisan panjang adalah persistent interaction memory, yang terakumulasi lintas percobaan. Yang pertama menjawab "apa yang baru saja saya coba di percobaan ini", yang kedua menjawab "di mana saya gagal pada percobaan sebelumnya". Memisahkan keduanya bukan tanpa alasan: sinyal kegagalan pada percobaan saat ini perlu langsung memengaruhi aksi berikutnya, sementara pengalaman lintas percobaan harus disaring dulu sebelum masuk ke memori jangka panjang — jika dicampur, hasilnya mudah terpengaruh oleh noise dari satu percobaan saja.

Komponen ketiga adalah in-context policy injection, yang menyisipkan prompt kausal ke input model yang dibekukan. Sepanjang proses deployment, tidak ada satu pun pembaruan gradien yang terjadi.

Di mana angka-angkanya mendarat

Pada benchmark RoboCasa365-Atomic5, tingkat keberhasilan rata-rata mencapai 76.8%. Yang lebih menjelaskan adalah data setelah dipindahkan ke laboratorium kimia sungguhan (tim menyebut lingkungan ini ChemLab-Evo): mengambil tabung reaksi naik dari 65% menjadi 100%, meletakkan beaker naik dari 25% menjadi 70%, dan menuang air naik dari 30% menjadi 80%.

Titik awal ketiga tugas ini jauh berbeda. Mengambil tabung reaksi sudah punya dasar 65%, sehingga mendorongnya ke skor sempurna lebih ke arah menghaluskan kasus-kasus tepi. Meletakkan beaker dimulai dari 25% dan hampir naik tiga kali lipat, menunjukkan bahwa mekanisme memori memberi manfaat lebih besar di rentang tingkat keberhasilan yang rendah — semakin sering robot gagal, semakin banyak pasangan kausal yang bisa dijadikan atribusi.

Satu kali demonstrasi manusia masih bisa mendorong lebih jauh lagi: meletakkan beaker bertambah sekitar 20 poin persentase, menuang air bertambah sekitar 15 poin persentase. Informasi dari satu demonstrasi sebenarnya terbatas, tapi bisa menghasilkan lonjakan sebesar ini — artinya informasi itu masuk ke memori, bukan mengubah parameter, sehingga sifatnya plug-and-play.

Kenapa laboratorium kimia

Pemilihan skenario ini punya pertimbangan praktis. Operasi kimia punya batas perubahan state yang jelas — tinggi permukaan cairan, posisi tabung reaksi, ada tumpahan atau tidak — sehingga sinyal kausalnya bersih dan pasangan yang diekstrak encoder minim noise. Untuk tugas yang state-nya sulit diukur, seperti melipat baju, mekanisme yang sama belum tentu bekerja sebaik ini, dan paper tidak menghindari poin tersebut.

Bagi sisi engineering, artinya bentuk deployment berubah. Dengan jalur fine-tuning, setiap masuk ke lokasi baru berarti harus menarik data, melatih ulang, dan menjalankan regression test — satu rangkaian pipeline yang makan waktu mingguan. Zeva langsung bekerja begitu selesai di-deploy dan makin akurat seiring pemakaian, dengan konsekuensi konteks yang lebih panjang dan overhead per langkah yang lebih tinggi saat inferensi. Mana yang lebih menguntungkan tergantung seberapa sering skenario berganti — kalau satu robot bertahun-tahun mengerjakan hal yang sama, fine-tuning tetap jadi pilihan yang lebih hemat.

Paper ini berjudul "Zeva: In-Context Causal Learning for Generalizable Embodied Manipulation", dengan kontributor termasuk Liu Yunxin dan Cao Ting dari Tsinghua AIR.

Sumber: paper asli Zeva, QbitAI, CocoLoop; setiap tingkat keberhasilan dan nama benchmark diverifikasi sesuai angka yang diungkapkan dalam paper, dengan besaran kenaikan dihitung sebagai selisih langsung dari angka yang dilaporkan.