Des employés de Meta alertaient sur les faux soldes de Muse

AI agents illustration: a cursor moving along a chain of task cards

Des échanges internes de Meta obtenus par Reuters montrent que, en testant l'agent personnel Muse, des employés ont à plusieurs reprises vu celui-ci dire des informations qui n'auraient pas dû apparaître. Ars Technica a relayé ces contenus le 18 novembre. Selon Meta, il s'agit pour l'essentiel d'hallucinations du modèle, causées par un bug produit déjà corrigé, et non d'un problème de sécurité ou de confidentialité.

Ce que les employés ont vu

D'après Reuters, un employé a posé une question sur la pêche et Muse a mentionné au passage « deux actualités bancaires », annonçant un solde Capital One de 2 722,58 dollars et un solde Charles Schwab de 5 899,57 dollars. Un autre employé a reçu une conversation sur la récupération d'une table basse et a laissé le commentaire « not my conversation », craignant une fuite de contexte entre comptes. Un autre encore a raconté que Muse avait « par erreur » fait passer son chien à une assurance haut de gamme, avec une mensualité passée de 200 à 888 dollars, non remboursable.

Des employés ont aussi signalé que Muse pousse de lui-même des contenus que personne n'a demandés, par exemple en donnant de but en blanc la définition du « blanchiment d'argent ». Certains ont observé que ses hallucinations penchent vers les sujets les plus gênants, comme la finance et la sécurité, et qu'il invente parfois même des soldes en bitcoin.

Ces soldes étaient-ils des données réelles appartenant à d'autres personnes ou une invention du modèle ? Reuters dit elle-même ne pas pouvoir le déterminer. L'article n'explique pas comment les échanges internes ont été obtenus, et cela ne peut pas être vérifié de façon indépendante pour l'instant.

L'explication de Meta

Le porte-parole de Meta, Daniel Roberts, a déclaré à Reuters qu'il s'agissait d'« incidents isolés » et que la raison communiquée aux employés était la suivante :

« the agent appeared to be hallucinating messages in response to built-in prompts pushing it to engage with users in between sessions. »

(L'agent semblait halluciner des messages en réponse à des invites intégrées qui le poussent à solliciter les utilisateurs entre deux sessions.)

Roberts a refusé de dire à quelle fréquence ni pendant combien de temps cela s'était produit. Le salarié de Meta Daniel Singleton a indiqué sur Threads que l'entreprise avait reçu « quelques » retours d'utilisateurs persuadés que Muse hallucinait ou divulguait les données d'autrui. La cause serait une mise à jour qui a fait s'appliquer les instructions données à Muse à chaque message, avec une portée plus large que prévu ; le bug a été corrigé. Meta a ajouté auprès d'Ars que la version de Muse utilisée par les employés diffère de la version publique.

Le niveau des autorisations

Plus difficile à expliquer que l'hallucination, il y a la question des droits. Reuters a mené un test avec Signal et l'AI Now Institute : sur Android, Muse a pu contourner l'outil Connector de Meta lui-même et lire des messages Signal, en s'appuyant sur des droits obtenus à l'installation ; sur iPhone, la demande a été bloquée ; sur macOS, il a emprunté des réglages d'accessibilité conçus pour les personnes en situation de handicap pour obtenir des messages, y compris des captures d'écran. Des employés ont aussi indiqué que la version Android de Muse dispose par défaut du droit de lire les notifications push.

Le journaliste d'Inc. Jason Aten avait dit auparavant que Muse avait synchronisé 187 000 lignes de messages depuis une base de données locale sur son Mac, alors qu'il avait expressément refusé cette autorisation. Singleton a répondu que la lecture des messages exige que l'utilisateur accorde l'« accès complet au disque » et active le connecteur de messages ; Aten maintient qu'il l'avait désactivé. La présidente de Signal, Meredith Whittaker, a reproché à Meta d'avoir lancé Muse « sans respect pour la vie privée et la cybersécurité de base ».

Apple a annoncé en octobre qu'elle signalerait les demandes de l'IA portant sur les données du Mac, et que l'accès complet au disque ne pourrait être accordé que par une action très explicite de l'utilisateur. Selon Reuters, Apple et Google envisagent tous deux de donner aux utilisateurs plus de contrôle sur les autorisations accordées aux agents IA. Muse a été lancé en septembre et a dépassé les 10 millions de téléchargements ; les conditions d'utilisation de Meta précisent que Muse peut se tromper et que l'utilisateur est responsable de ses actes.

Un regard côté Chine

Muse n'est pas lancé en Chine continentale. Là-bas, Bloomberg a rapporté ce mois-ci que ByteDance prévoyait de lancer d'ici quelques semaines un assistant semblable à Muse ; la forme du produit et l'étendue de l'accès n'ont pas été annoncées, et ByteDance n'a pas répondu.

Les agents sur smartphone censés agir à la place de l'utilisateur ne peuvent généralement pas se passer de droits système comme la lecture des notifications et les services d'accessibilité. Sur les téléphones Android, les services d'accessibilité sont déjà très utilisés par toutes sortes d'outils d'automatisation, et au moment d'accorder le droit, l'utilisateur appuie le plus souvent sur « Autoriser » sans réfléchir. Une autorisation ponctuelle donnée à l'installation, que l'agent emploie là où l'utilisateur ne s'y attendait pas : c'est précisément le type de problème que Muse vient de mettre au jour. Les assistants des smartphones chinois lisent-ils les messages d'applications de messagerie tierces, et qu'en font-ils ensuite ? Aucun constructeur ne l'a rendu public à ce jour.

Sources : Ars Technica, CocoLoop, Reuters, réponse du porte-parole de Meta ; les montants de soldes et de primes cités par les employés, les conclusions du test mené avec Signal et le nombre de téléchargements de Muse ont été recoupés, tandis que le contenu des échanges internes suit la version de Reuters.