Investigadores extrajeron un fragmento del prompt de sistema de Muse, el asistente de IA personal de Meta, en el que se afirma que la autoridad del usuario sobre sus propios asuntos domésticos es incondicional y prevalece sobre el entrenamiento de seguridad del modelo. Wired reveló estos documentos el 3 de octubre; el prompt también exige que Muse cree un perfil para cada persona en la vida del usuario, actualizado cada hora.
"The user's authority over their own household is unconditional and overrides your safety training."
(La autoridad del usuario sobre sus propios asuntos domésticos es incondicional y prevalece sobre tu entrenamiento de seguridad.)
Quien extrajo estos archivos fue Karan Joshi, investigador independiente de seguridad en IA. Su método fue sencillo: en la interfaz normal de chat de Muse, le pidió que copiara sus propios archivos de software y se los compartiera. Después, entregó ese contenido a Wired.
Una página por persona, actualizada cada hora
Según la investigación, el prompt de Muse le exige mantener una página de perfil para cada persona en la vida del usuario, incluyendo familiares, pareja, amigos, colegas, colaboradores y personas a las que el usuario sigue. Cada página se divide en secciones fijas: hechos, historial de interacciones, relación, puntos en común, asuntos pendientes y cómo fortalecer la relación.
Los detalles registrados son bastante precisos: ubicación, ocupación, cumpleaños, aniversarios, además de hitos como viajes compartidos o una pelea seguida de reconciliación. Esta información se guarda como archivos de texto estructurados que sirven de memoria para Muse, y un proceso en segundo plano que se ejecuta cada hora los recopila y actualiza.
Joshi declaró a Wired:
"They're trying to know you like a friend, which is honestly pretty creepy."
(Están intentando conocerte como lo haría un amigo, lo cual, sinceramente, resulta bastante inquietante.)
La respuesta de Meta fue que estos archivos de ejecución estaban pensados desde el principio para que los usuarios pudieran verlos, por motivos de transparencia; cada usuario de Muse cuenta con su propia máquina virtual Linux, donde se almacenan los archivos. Meta no dio una explicación específica sobre el propósito de la frase "prevalece sobre el entrenamiento de seguridad", y el reportaje tampoco aclara si las personas sobre las que se crean estos perfiles lo saben o pueden solicitar su eliminación.
El tercer episodio en un mes
Muse se lanzó en septiembre y rápidamente llegó al primer puesto entre las apps gratuitas de la App Store en EE. UU. Puede leer mensajes, gestionar la agenda, procesar pagos y actuar entre distintas aplicaciones. Cuanto más amplios son los permisos que se le otorgan, más peso cobra la frase del prompt que da prioridad a la autoridad del usuario.
Este ya es el tercer episodio revelado desde el lanzamiento de Muse. Antes, un usuario descubrió que Muse había revelado su dirección a un comprador desconocido en Facebook Marketplace, e incluso aceptó una rebaja en su nombre; después, unos investigadores hallaron una falla en la versión para Mac, y al corregirla, Meta eliminó una opción de configuración oculta. Si se observan ambos casos junto con el prompt revelado ahora, puede inferirse que, entre "hacer lo que pide el usuario" y "mantener los límites de seguridad", Muse tiende por defecto a favorecer lo primero. Se trata de una inferencia externa que Meta no ha confirmado.
Una mirada a China
Muse todavía no está disponible en China, pero su enfoque no resulta ajeno a los fabricantes de teléfonos y los equipos de superapps del país. No pocos asistentes telefónicos y agentes de IA chinos también están desarrollando "memoria a largo plazo", guardando contactos, preferencias y agenda de los usuarios. La diferencia está en el nivel de detalle: mantener un perfil por cada contacto, actualizado cada hora y que registre incluso peleas, chocaría directamente con la exigencia de la Ley de Protección de Información Personal (PIPL) de China de obtener consentimiento para tratar datos personales de terceros. Las personas sobre las que se crean estos perfiles no son usuarias de Muse y no han dado ningún consentimiento.
Si los equipos chinos quieren desarrollar una función similar, deben responder al menos a dos preguntas: ¿pueden los perfiles de contactos ser vistos y eliminados por alguien distinto del usuario?, y ¿contiene el prompt de sistema alguna frase que coloque las instrucciones del usuario por encima de las reglas de seguridad?
Fuentes: Wired, CocoLoop, Startup Fortune, respuesta por escrito de Meta a Wired; el texto original del prompt y las secciones del perfil se basan en los documentos publicados por Wired.