Catatan obrolan internal Meta yang diperoleh Reuters menunjukkan bahwa karyawan yang menguji agen pribadi Muse berulang kali mendapati agen itu mengucapkan hal-hal yang tidak seharusnya muncul. Ars Technica menyampaikan isinya pada 18 November. Versi Meta, sebagian besar kejadian itu adalah halusinasi model akibat bug produk yang sudah diperbaiki, bukan masalah keamanan atau privasi.
Apa yang dilihat karyawan
Menurut laporan Reuters, seorang karyawan bertanya soal memancing, lalu Muse menyisipkan “dua kabar dari bank” dalam jawabannya dan menyebut saldo Capital One sebesar US$2.722,58 serta saldo Charles Schwab sebesar US$5.899,57. Karyawan lain menerima percakapan tentang mengambil meja kopi dan menulis “not my conversation”, khawatir terjadi kebocoran konteks antarakun. Ada pula karyawan yang mengatakan Muse “tidak sengaja” memindahkan anjingnya ke asuransi premium, sehingga biaya bulanan naik dari US$200 menjadi US$888 dan tidak bisa dikembalikan.
Staf juga melaporkan bahwa Muse mendorong konten yang tidak diminta siapa pun, misalnya tiba-tiba memberi definisi “pencucian uang”. Seseorang mengamati bahwa halusinasinya condong ke topik yang paling tidak nyaman seperti keuangan dan keamanan, dan kadang mengarang saldo Bitcoin.
Reuters sendiri mengatakan tidak dapat memastikan apakah saldo itu data nyata milik orang lain atau karangan model. Laporan tidak menjelaskan bagaimana obrolan internal itu diperoleh, dan hal ini belum dapat diverifikasi secara independen.
Penjelasan Meta
Juru bicara Meta, Daniel Roberts, mengatakan kepada Reuters bahwa ini adalah “insiden terisolasi”, dan karyawan diberi tahu alasannya sebagai berikut:
“the agent appeared to be hallucinating messages in response to built-in prompts pushing it to engage with users in between sessions.”
(Agen tampaknya mengarang pesan sebagai respons terhadap perintah bawaan yang mendorongnya mengajak pengguna berinteraksi di sela-sela sesi.)
Roberts menolak menjawab seberapa sering masalah itu muncul dan berapa lama berlangsung. Karyawan Meta, Daniel Singleton, menulis di Threads bahwa perusahaan menerima “beberapa” laporan dari pengguna yang mengira Muse berhalusinasi atau membocorkan data orang lain. Penyebabnya, kata dia, adalah pembaruan yang membuat instruksi untuk Muse berlaku pada setiap pesan sehingga dampaknya lebih luas dari perkiraan, dan bug itu sudah diperbaiki. Meta juga menambahkan kepada Ars bahwa versi Muse yang dipakai karyawan berbeda dari versi publik.
Lapisan izin
Yang lebih sulit dijelaskan daripada halusinasi adalah izin akses. Reuters melakukan pengujian bersama Signal dan AI Now Institute. Di Android, Muse dapat melewati alat Connector milik Meta sendiri dan membaca pesan Signal, dengan mengandalkan izin yang didapat saat instalasi. Di iPhone, permintaan itu diblokir. Di macOS, Muse memperoleh pesan, termasuk tangkapan layar, dengan meminjam pengaturan aksesibilitas yang dirancang untuk penyandang disabilitas. Karyawan juga menyebut bahwa Muse versi Android secara default sudah punya izin membaca notifikasi push.
Jurnalis Inc., Jason Aten, sebelumnya mengatakan Muse menyinkronkan 187 ribu baris pesan dari basis data lokal di Mac-nya, padahal ia secara tegas menolak izin itu. Singleton menanggapi bahwa membaca pesan mengharuskan pengguna memberi “Full Disk Access” dan mengaktifkan konektor pesan; Aten bersikeras bahwa ia sudah mematikannya. Presiden Signal, Meredith Whittaker, mengkritik Meta karena meluncurkan Muse dengan “tidak menghormati privasi dan keamanan siber dasar”.
Apple pada Oktober telah mengumumkan akan menandai permintaan AI terhadap data Mac, dan Full Disk Access hanya dapat diberikan melalui tindakan pengguna yang sangat eksplisit. Menurut Reuters, Apple dan Google sama-sama mempertimbangkan memberi pengguna kendali lebih besar atas otorisasi agen AI. Muse meluncur pada September dan telah diunduh lebih dari 10 juta kali; ketentuan pengguna Meta menyatakan Muse bisa salah dan pengguna bertanggung jawab atas tindakannya.
Jika dilihat dari Tiongkok
Muse belum diluncurkan di Tiongkok daratan. Di sana, Bloomberg bulan ini melaporkan bahwa ByteDance berencana merilis asisten mirip Muse dalam beberapa pekan; bentuk produk dan cakupan aksesnya belum diumumkan, dan ByteDance tidak menanggapi.
Agen di ponsel yang bekerja atas nama pengguna umumnya sulit lepas dari izin sistem seperti pembacaan notifikasi dan layanan aksesibilitas. Di Android, layanan aksesibilitas memang sudah banyak dipakai berbagai alat otomasi, dan pengguna biasanya terus menekan “Izinkan” saat diminta. Izin sekali jalan yang diberikan saat instalasi lalu dipakai agen di tempat yang tidak diduga pengguna, itulah jenis masalah yang diperlihatkan Muse kali ini. Apakah asisten ponsel buatan Tiongkok membaca pesan dari aplikasi obrolan pihak ketiga, dan bagaimana pesan itu ditangani setelahnya, belum dijelaskan secara terbuka oleh produsen mana pun.
Sumber: Ars Technica, CocoLoop, Reuters, tanggapan juru bicara Meta. Angka saldo dan premi dari masukan karyawan, kesimpulan pengujian bersama Signal, serta jumlah unduhan Muse telah diperiksa; isi obrolan internal mengacu pada laporan Reuters.