Pada 20 Agustus, tim Qwen milik Alibaba merilis Qwen-UI-Agent, model dasar untuk agen GUI yang dibangun untuk perangkat asli. Idenya sederhana: membuat model benar-benar melihat layar, lalu mengetuk, menggeser, dan mengetik untuk menuntaskan satu tugas dari awal sampai akhir, layaknya manusia. Cakupannya meliputi ponsel, komputer, web, dan lingkungan DeepSearch dengan pencarian langsung.
Rapor yang dipublikasikan Alibaba cukup padat. Di sisi mobile, Qwen-UI-Agent meraih 82,1% di MobileWorld, 92,2% di MobileWorld-Real versi perangkat asli, dan 97,5% di AndroidDaily. Di sisi desktop, skornya 79,5% di OSWorld-Verified, 73,6% di benchmark tugas browser WebArena, dan 75,0% di benchmark pencarian bahasa Mandarin BrowseComp-ZH. Untuk mendeteksi lokasi elemen antarmuka, tercatat 81,5% di ScreenSpot-Pro. Pada sebagian tugas OSWorld-v2, Alibaba mengklaim tingkat penyelesaian 40,0% sekaligus memangkas jumlah langkah eksekusi sekitar 58%. Model pembanding yang disebutkan adalah GPT-5.6 Sol, Claude Opus 4.8, dan Gemini 3.1 Pro.
Arena latihan dari 100-an lebih ponsel
Yang lebih menunjukkan arah investasi ketimbang skor adalah lingkungan di baliknya. Alibaba membangun laboratorium dengan lebih dari 100 ponsel asli yang mencakup 150-an aplikasi, didukung benchmark perangkat asli berisi 400-an tugas, mampu menjalankan 10.000 lingkungan paralel, dengan panjang trajektori reinforcement learning yang didukung hingga 100-an langkah lebih.
Ini pendekatan yang berat di sisi aset. Agen GUI selama ini kebanyakan dilatih di simulator atau sandbox web—murah dan mudah direproduksi, tapi ada jarak dengan perangkat asli: ponsel asli memunculkan iklan, memicu dialog izin, dan macet di layar loading saat jaringan tersendat, dan momen-momen itu justru yang paling sering membuat tugas panjang gagal. Membawa masuk laboratorium perangkat sungguhan berarti menukar biaya perangkat keras dengan keselarasan distribusi.
Di sinilah juga muncul jarak antara akurasi per langkah dan tingkat keberhasilan tugas panjang. Hitung kasar saja: jika tingkat keberhasilan per langkah 81,5%, peluang tugas 100 langkah selesai dalam sekali jalan nyaris bisa diabaikan. Yang membuat alur panjang tetap berjalan adalah kemampuan menyadari kesalahan, mundur, lalu mencoba jalur lain—dan lingkungan perangkat asli justru yang menghasilkan sampel kegagalan semacam itu, sesuatu yang sulit tumbuh alami di simulator.
Di desktop, klik antarmuka dicampur dengan command line
Ada satu detail di sisi desktop: Alibaba menyebut sistem ini mendukung kombinasi aksi antarmuka dan pemanggilan command line, dengan sekitar setengah dari tugas desktop melibatkan panggilan CLI.
Secara teknis ini semacam pengakuan. Menyelesaikan tugas seperti "kelompokkan berkas-berkas ini berdasarkan tanggal lalu kompres" murni dengan klik akan membuat jumlah langkah membengkak tak terkendali; agen yang bisa mengetik command line langsung melompati puluhan klik. Konsekuensinya, batas izin jadi lebih sensitif—dampak dari satu perintah jauh lebih besar daripada satu klik yang salah. Estafet lintas perangkat ditangani kerangka kerja Harness, sehingga pekerjaan yang belum selesai di ponsel bisa dilanjutkan di komputer.
Di mana garis keamanannya ditarik
"Saat menghadapi permintaan ilegal atau berisiko tinggi, sistem tidak akan menjalankan aksi antarmuka apa pun—langsung menolak dan menghentikan tugas," begitu Alibaba menjelaskan kebijakan penolakan modelnya. Aksi sensitif seperti pembayaran, penghapusan data, atau perubahan otorisasi memerlukan konfirmasi pengguna terlebih dahulu.
Bagi pengguna di China, seberapa kuat mekanisme ini benar-benar berlaku baru akan terlihat setelah dirilis ke perangkat asli. Operasi berisiko tinggi di ponsel sering kali tidak terlihat jelas berbeda dari operasi biasa—halaman konfirmasi pembayaran tanpa kata sandi dan tombol "Lanjut" biasa bisa nyaris identik secara piksel, dan penilaian model bergantung pada konteks, bukan tampilan kontrolnya.
Siapa yang akan mengadopsi ini
Laporan teknisnya sudah diunggah ke arXiv, dan repositori kodenya ada di GitHub di bawah Tongyi-MAI/MAI-UI. Repositori itu sebelumnya sudah membuka sumber seri MAI-UI dalam empat ukuran dari 2B hingga 235B parameter, di bawah lisensi Apache 2.0. Sejauh mana bobot Qwen-UI-Agent akan dirilis belum dijelaskan secara pasti.
Dilihat dari kemungkinan urutan peluncurannya, produsen ponsel dan PC kemungkinan besar akan lebih dulu diuntungkan—mereka memegang izin tingkat sistem dan sudah punya jalur masuk alami untuk menyisipkan agen ke asisten suara. Aplikasi pihak ketiga yang ingin terhubung tak bisa menghindari hambatan izin aksesibilitas, dan hambatan itu selama ini diatur cukup ketat di China.
Sumber: akun WeChat resmi Qwen, IT Home, CocoLoop, Kuai Technology; angka benchmark dan skala lingkungan perangkat asli diverifikasi silang dengan laporan teknis dan halaman proyek Qwen-UI-Agent.