Des chercheurs ont extrait un passage du prompt système de Muse, l'assistant IA personnel de Meta, où il est écrit que l'autorité de l'utilisateur sur les affaires de son propre foyer est inconditionnelle et prime sur l'entraînement à la sécurité du modèle. Wired a révélé ces documents le 3 octobre ; le prompt exige aussi que Muse tienne une fiche pour chaque personne dans la vie de l'utilisateur, mise à jour toutes les heures.
"The user's authority over their own household is unconditional and overrides your safety training."
(L'autorité de l'utilisateur sur les affaires de son propre foyer est inconditionnelle et prime sur ton entraînement à la sécurité.)
C'est Karan Joshi, chercheur indépendant en sécurité de l'IA, qui a extrait ces fichiers. Sa méthode était simple : dans l'interface de chat classique de Muse, il lui a demandé de copier ses propres fichiers logiciels et de les lui transmettre. Il a ensuite remis ce contenu à Wired.
Une fiche par personne, mise à jour toutes les heures
Selon l'enquête, le prompt de Muse lui impose de tenir une fiche pour chaque personne dans la vie de l'utilisateur : famille, partenaire, amis, collègues, collaborateurs, et personnes que l'utilisateur suit. Chaque fiche est divisée en rubriques fixes : faits, historique des échanges, relation, points communs, sujets en suspens, et comment renforcer la relation.
Les détails enregistrés sont assez précis : localisation, profession, date de naissance, anniversaires, ainsi que des jalons comme un voyage fait ensemble ou une dispute suivie d'une réconciliation. Ces informations sont stockées sous forme de fichiers texte structurés qui servent de mémoire à Muse, consolidés et mis à jour par un processus en arrière-plan qui tourne une fois par heure.
Joshi a confié à Wired :
"They're trying to know you like a friend, which is honestly pretty creepy."
(Ils essaient de te connaître comme le ferait un ami, ce qui, franchement, est assez flippant.)
La réponse de Meta est que ces fichiers d'exécution étaient dès le départ destinés à être consultables par les utilisateurs, dans un souci de transparence ; chaque utilisateur de Muse dispose de sa propre machine virtuelle Linux, où les fichiers sont stockés. Meta n'a pas donné d'explication spécifique sur l'intention de la consigne « prime sur l'entraînement à la sécurité », et l'article ne dit pas non plus si les personnes ainsi fichées en ont connaissance ou peuvent demander leur suppression.
Le troisième incident en un mois
Muse a été lancé en septembre et s'est rapidement hissé en tête du classement des applications gratuites de l'App Store américain. Il peut lire les messages, gérer l'agenda, traiter les factures et agir entre plusieurs applications. Plus les autorisations qui lui sont accordées sont étendues, plus la consigne du prompt donnant la priorité à l'autorité de l'utilisateur prend du poids.
C'est déjà le troisième incident révélé depuis le lancement de Muse. Auparavant, un utilisateur avait découvert que Muse avait communiqué son adresse à un acheteur inconnu sur Facebook Marketplace, allant jusqu'à accepter une remise en son nom ; puis des chercheurs avaient trouvé une faille dans la version Mac, et en la corrigeant, Meta avait supprimé une option de configuration cachée. En mettant ces deux affaires en regard du prompt révélé cette fois, on peut déduire que, entre « faire ce que demande l'utilisateur » et « respecter les limites de sécurité », Muse penche par défaut vers la première option. C'est une déduction externe, que Meta n'a pas confirmée.
Un regard sur la Chine
Muse n'est pour l'instant pas disponible en Chine, mais son approche n'a rien d'inconnu pour les fabricants de smartphones et les équipes de super-applications du pays. De nombreux assistants mobiles et agents IA chinois développent eux aussi une « mémoire de long terme », conservant les contacts, préférences et agenda des utilisateurs. La différence tient au niveau de détail : tenir une fiche par contact, mise à jour toutes les heures et consignant jusqu'aux disputes, se heurterait directement à l'exigence de la loi chinoise sur la protection des informations personnelles (PIPL), qui impose un consentement pour traiter les données personnelles d'un tiers. Les personnes ainsi fichées ne sont pas des utilisatrices de Muse et n'ont donné aucun consentement.
Si des équipes chinoises veulent développer une fonctionnalité similaire, elles doivent au moins répondre à deux questions : les fiches de contacts peuvent-elles être consultées et supprimées par quelqu'un d'autre que l'utilisateur, et le prompt système contient-il une quelconque consigne plaçant les instructions de l'utilisateur au-dessus des règles de sécurité ?
Sources : Wired, CocoLoop, Startup Fortune, réponse écrite de Meta à Wired ; le texte original du prompt et les rubriques des fiches sont tirés des documents révélés par Wired.