Empleados de Meta avisaron de saldos bancarios erróneos en Muse

AI agents illustration: a cursor moving along a chain of task cards

Registros de chats internos de Meta a los que tuvo acceso Reuters muestran que, al probar el agente personal Muse, los empleados se encontraron varias veces con que decía información que no debería aparecer. Ars Technica recogió el contenido el 18 de noviembre. Según Meta, se trata en su mayoría de alucinaciones del modelo, causadas por un error de producto ya corregido, y no de un problema de seguridad ni de privacidad.

Lo que vieron los empleados

Según Reuters, un empleado preguntó por pesca y, en la respuesta, Muse mencionó de pasada "dos novedades bancarias", con un saldo de Capital One de 2722,58 dólares y uno de Charles Schwab de 5899,57 dólares. Otro empleado recibió una conversación sobre ir a recoger una mesa de centro y dejó el comentario "not my conversation", temiendo una fuga de contexto entre cuentas. Otro más contó que Muse "sin querer" pasó a su perro a un seguro premium, con una cuota mensual que subió de 200 a 888 dólares y que no se puede reembolsar.

Los empleados también señalaron que Muse empuja por iniciativa propia contenidos que nadie pidió, como ofrecer de la nada una definición de "blanqueo de capitales". Algunos observaron que sus alucinaciones tienden a los temas más incómodos, como finanzas y seguridad, y que a veces llega a inventar saldos de bitcóin.

Si esos saldos eran datos reales de otras personas o una invención del modelo, la propia Reuters dice que no puede determinarlo. El reportaje no explica cómo se obtuvieron los chats internos y, por ahora, no es posible verificarlo de forma independiente.

La explicación de Meta

El portavoz de Meta, Daniel Roberts, dijo a Reuters que fueron "incidentes aislados" y que el motivo que se comunicó a los empleados fue:

"the agent appeared to be hallucinating messages in response to built-in prompts pushing it to engage with users in between sessions."

(El agente parecía estar alucinando mensajes en respuesta a indicaciones integradas que lo empujan a interactuar con los usuarios entre sesiones.)

Roberts se negó a precisar con qué frecuencia ocurrió ni cuánto duró. El empleado de Meta Daniel Singleton afirmó en Threads que la empresa recibió "algunos" comentarios de usuarios que creyeron que Muse alucinaba o filtraba datos de otras personas. La causa fue una actualización que hizo que las instrucciones dadas a Muse se aplicaran a todos los mensajes, con un alcance mayor del previsto; el error ya se corrigió. Meta añadió a Ars que la versión de Muse que usan los empleados es distinta de la pública.

La capa de los permisos

Más difícil de explicar que la alucinación es el permiso. Reuters hizo una prueba junto con Signal y el AI Now Institute: en Android, Muse pudo esquivar la herramienta Connector de la propia Meta y leer mensajes de Signal, apoyándose en permisos obtenidos durante la instalación; en el iPhone, la solicitud fue bloqueada; en macOS, aprovechó ajustes de accesibilidad pensados para personas con discapacidad para obtener mensajes, incluidas capturas de pantalla. Los empleados también mencionaron que la versión de Muse para Android tiene por defecto permiso para leer notificaciones push.

El periodista de Inc. Jason Aten había dicho antes que Muse sincronizó 187.000 filas de mensajes desde una base de datos local en su Mac, pese a que él había rechazado expresamente ese permiso. Singleton respondió que leer mensajes exige que el usuario conceda "acceso total al disco" y active el conector de mensajes; Aten insiste en que lo tenía desactivado. La presidenta de Signal, Meredith Whittaker, criticó que Meta lanzara Muse "sin respeto por la privacidad y la ciberseguridad básicas".

Apple anunció en octubre que marcará las solicitudes de la IA a datos del Mac, y que el acceso total al disco solo puede concederse mediante una acción muy explícita del usuario. Reuters indica que tanto Apple como Google estudian dar a los usuarios más control sobre las autorizaciones a agentes de IA. Muse salió en septiembre y superó los 10 millones de descargas; los términos de uso de Meta dicen que Muse puede equivocarse y que el usuario es responsable de sus acciones.

Mirando a China

Muse no se ha lanzado en la China continental. Allí, Bloomberg informó este mes de que ByteDance planea lanzar en unas semanas un asistente parecido a Muse; ni su forma de producto ni el alcance de acceso se han hecho públicos, y ByteDance no respondió.

Los agentes en el móvil que han de hacer gestiones por el usuario suelen depender de permisos de sistema como la lectura de notificaciones y los servicios de accesibilidad. En los móviles Android, los servicios de accesibilidad ya los usan ampliamente las herramientas de automatización, y al conceder el permiso el usuario suele ir pulsando "Permitir" sin pensarlo. Una autorización única dada durante la instalación y usada por el agente donde el usuario no lo esperaba es justo el tipo de problema que ha dejado al descubierto el caso Muse. Si los asistentes de los móviles chinos leen mensajes de aplicaciones de chat de terceros y qué hacen con ellos después, ningún fabricante lo ha explicado públicamente hasta ahora.

Fuentes: Ars Technica, CocoLoop, Reuters, respuesta del portavoz de Meta; se contrastaron las cifras de saldos y cuotas citadas por los empleados, las conclusiones de la prueba conjunta con Signal y las descargas de Muse, mientras que el contenido de los chats internos sigue la versión de Reuters.