路透社取得的 Meta 內部聊天紀錄顯示,員工在測試個人智慧代理 Muse 時,多次碰到它說出不該出現的資訊。Ars Technica 於 11 月 18 日轉述了這些內容。Meta 的說法是,這些大多是模型幻覺,由一個已經修復的產品 bug 所引起,不屬於資安或隱私問題。
員工看到了什麼
依路透社報導,一名員工詢問與釣魚(釣魚運動)相關的問題,Muse 在回覆裡順帶提到「兩則銀行動態」,報出 Capital One 餘額 2,722.58 美元、嘉信理財餘額 5,899.57 美元。另一名員工收到一段關於取走咖啡桌的對話,留言說「not my conversation」,擔心出現跨帳號的上下文外洩。還有員工說,Muse「意外」把他的狗換成高檔保險,月費從 200 美元變成 888 美元,且無法退回。
員工也反映 Muse 會主動推送沒人問的內容,例如憑空給出「洗錢」的定義。有人觀察到它的幻覺偏向財務、資安這類最令人不安的話題,有時還會編造比特幣餘額。
這些餘額究竟是他人的真實資料,還是模型編造的,路透社自己也表示無法確定。內部聊天紀錄是怎麼取得的,報導並未交代,目前無法獨立查證。
Meta 怎麼解釋
Meta 發言人 Daniel Roberts 對路透社表示,這些是「個別事件」,員工獲告知的原因是:
「the agent appeared to be hallucinating messages in response to built-in prompts pushing it to engage with users in between sessions.」
(代理看起來是在內建提示推動它於對話空檔找使用者互動時,編造出了這些訊息。)
問題出現得多頻繁、持續了多久,Roberts 拒絕回答。Meta 員工 Daniel Singleton 在 Threads 上說,公司收到過「幾起」使用者認為 Muse 在幻覺或外洩他人資料的回饋,原因是一次更新讓給 Muse 的指令作用到每一則訊息上,影響範圍超出預期,bug 已經修好。Meta 向 Ars 補充說,員工使用的 Muse 版本與公眾版不同。
權限這一層
比幻覺更難解釋的是權限。路透社與 Signal 和 AI Now Institute 合作做了測試:在 Android 上,Muse 能繞過 Meta 自家的 Connector 工具讀取 Signal 訊息,靠的是安裝時取得的權限;在 iPhone 上,請求被攔了下來;在 macOS 上,它借用為身心障礙者設計的輔助使用設定取得訊息,包括螢幕截圖。員工還提到,Android 版 Muse 預設就有讀取推播通知的權限。
Inc. 記者 Jason Aten 先前表示,Muse 在他的 Mac 上從本機資料庫同步了 18.7 萬行訊息,而他明確拒絕過這項權限。Singleton 回應稱,讀取訊息需要使用者授予「完整磁碟取用權限」並開啟訊息連接器;Aten 堅稱自己已經關閉。Signal 總裁 Meredith Whittaker 批評 Meta 推出 Muse 時「不尊重基本的隱私與網路安全」。
蘋果 10 月已宣布會標記 AI 對 Mac 資料的請求,完整磁碟取用權限只能透過非常明確的使用者操作授予。路透社指出,蘋果和 Google 都在考慮讓使用者對 AI 代理的授權有更多掌控。Muse 於 9 月上線,下載量超過 1,000 萬次,Meta 的使用條款寫明 Muse 可能出錯,使用者須對它的行為負責。
放到中國大陸來看
Muse 並未在中國大陸上線。在大陸這邊,彭博社本月報導字節跳動(ByteDance)計畫在幾週內推出一款類似 Muse 的助理,產品形態和接入範圍都還沒公布,字節跳動沒有回應。
手機上的智慧代理要替人辦事,通常繞不開通知讀取、無障礙服務這類系統權限。在 Android 手機上,無障礙服務本來就被各類自動化工具廣泛使用,使用者授權時多半一路點「允許」。安裝時給出的一次性授權,被代理用到使用者沒預料的地方,Muse 這次暴露的就是這類問題。大陸手機助理會不會讀取第三方聊天應用的訊息、讀到之後怎麼處理,目前各家都沒有公開說明。
參考來源:Ars Technica、CocoLoop、路透社、Meta 發言人回應;已查核員工回饋中的餘額與保費數字、Signal 聯合測試結論及 Muse 下載量,內部聊天內容以路透社報導為準。