Meta 员工曾警告 Muse 乱报银行余额

AI 智能体题图:光标沿着任务卡片链点中红色那张

路透社获得的 Meta 内部聊天记录显示,员工在测试个人智能体 Muse 时,多次碰到它说出不该出现的信息。Ars Technica 11 月 18 日转述了这些内容。Meta 的说法是,这些大多是模型幻觉,由一个已经修复的产品 bug 引起,不属于安全或隐私问题。

员工看到了什么

按路透社的报道,一名员工问钓鱼相关的问题,Muse 在回复里顺带提了”两条银行动态”,报出 Capital One 余额 2722.58 美元、嘉信理财余额 5899.57 美元。另一名员工收到一段关于取咖啡桌的对话,留言说”not my conversation”,担心出现了跨账号的上下文泄露。还有员工说,Muse”意外”把他的狗换进了高档保险,月费从 200 美元变成 888 美元,退不回去。

员工还反映 Muse 会主动推送没人问的内容,比如凭空给出”洗钱”的定义。有人观察到它的幻觉偏向财务、安全这类最让人不舒服的话题,有时还会编出比特币余额。

这些余额是别人的真实数据还是模型编的,路透社自己也说无法确定。内部聊天是怎么拿到的,报道没有交代,目前无法独立核实。

Meta 怎么解释

Meta 发言人 Daniel Roberts 对路透社说,这些是”孤立事件”,员工被告知的原因是:

“the agent appeared to be hallucinating messages in response to built-in prompts pushing it to engage with users in between sessions.”

(智能体看起来是在内置提示推动它于会话间隙找用户互动时,编造出了这些消息。)

问题出现得多频繁、持续了多久,Roberts 拒绝回答。Meta 员工 Daniel Singleton 在 Threads 上说,公司收到过”几起”用户以为 Muse 在幻觉或泄露他人数据的反馈,原因是一次更新让给 Muse 的指令作用到了每一条消息上,影响面超出预期,bug 已经修好。Meta 对 Ars 补充说,员工用的 Muse 版本跟公众版不同。

权限这一层

比幻觉更难解释的是权限。路透社联合 Signal 和 AI Now Institute 做了测试:在 Android 上,Muse 能绕开 Meta 自己的 Connector 工具读取 Signal 消息,靠的是安装时拿到的权限;在 iPhone 上,请求被拦了下来;在 macOS 上,它借用为残障人士设计的辅助功能设置拿到消息,包括截图。员工还提到,Android 版 Muse 默认就有读取推送通知的权限。

Inc. 记者 Jason Aten 此前说,Muse 在他的 Mac 上从本地数据库同步了 18.7 万行消息,而他明确拒绝过这项权限。Singleton 回应称,读消息需要用户授予”完全磁盘访问”并打开消息连接器;Aten 坚持说自己关掉了。Signal 总裁 Meredith Whittaker 批评 Meta 推出 Muse 时”不尊重基本的隐私和网络安全”。

苹果 10 月已宣布会标记 AI 对 Mac 数据的请求,完全磁盘访问只能经由非常明确的用户操作授予。路透社称,苹果和谷歌都在考虑让用户对 AI 代理的授权有更多控制。Muse 9 月上线,下载量超过 1000 万次,Meta 的用户条款写着 Muse 可能出错、用户要对它的行为负责。

放到国内看

Muse 没有在中国大陆上线。国内这边,彭博社本月报道字节跳动计划在几周内推出一款类似 Muse 的助手,产品形态和接入范围都还没公布,字节没有回应。

手机上的智能体要替人办事,通常绕不开通知读取、无障碍服务这类系统权限。在 Android 手机上,无障碍服务本来就被各类自动化工具广泛使用,用户授权时多半一路点”允许”。安装时给出的一次性授权,被智能体用到用户没预料的地方,Muse 这次暴露的就是这类问题。国产手机助手会不会读取第三方聊天应用的消息、读到之后怎么处理,目前各家都没有公开说明。

参考来源:Ars Technica、CocoLoop、路透社、Meta 发言人回应;核验员工反馈中的余额与保费数字、Signal 联合测试结论及 Muse 下载量,内部聊天内容以路透社报道口径为准。