Meta-Mitarbeiter warnten vor falschen Kontoständen bei Muse

AI agents illustration: a cursor moving along a chain of task cards

Interne Chatprotokolle von Meta, die Reuters vorliegen, zeigen, dass Mitarbeiter beim Testen des persönlichen Agenten Muse mehrfach erlebten, wie dieser Informationen preisgab, die nicht hätten auftauchen dürfen. Ars Technica gab die Inhalte am 18. November wieder. Meta erklärt, es handle sich größtenteils um Halluzinationen des Modells, ausgelöst durch einen bereits behobenen Produktfehler, und nicht um ein Sicherheits- oder Datenschutzproblem.

Was die Mitarbeiter sahen

Laut Reuters fragte ein Mitarbeiter zum Thema Angeln, und Muse erwähnte in der Antwort nebenbei „zwei Bank-Updates“ und nannte einen Capital-One-Kontostand von 2.722,58 US-Dollar sowie einen Charles-Schwab-Kontostand von 5.899,57 US-Dollar. Ein anderer Mitarbeiter erhielt ein Gespräch über das Abholen eines Couchtisches und hinterließ den Kommentar „not my conversation“; er fürchtete einen kontoübergreifenden Kontextabfluss. Ein weiterer Mitarbeiter berichtete, Muse habe seinen Hund „versehentlich“ in eine Premium-Versicherung umgebucht, die Monatsgebühr sei von 200 auf 888 US-Dollar gestiegen und nicht erstattungsfähig.

Mitarbeiter meldeten außerdem, dass Muse ungefragt Inhalte aufdränge, etwa aus dem Nichts eine Definition von „Geldwäsche“ liefere. Manche beobachteten, dass seine Halluzinationen zu den unangenehmsten Themen wie Finanzen und Sicherheit neigten und es mitunter sogar Bitcoin-Guthaben erfinde.

Ob die genannten Kontostände echte Daten anderer Personen oder vom Modell erfunden waren, kann laut Reuters selbst nicht geklärt werden. Wie die internen Chats beschafft wurden, lässt der Bericht offen; unabhängig überprüfen lässt sich das derzeit nicht.

Wie Meta es erklärt

Meta-Sprecher Daniel Roberts sagte gegenüber Reuters, es seien „isolierte Vorfälle“ gewesen, und den Mitarbeitern sei als Grund mitgeteilt worden:

„the agent appeared to be hallucinating messages in response to built-in prompts pushing it to engage with users in between sessions.“

(Der Agent habe offenbar Nachrichten halluziniert, als Reaktion auf eingebaute Prompts, die ihn dazu bringen sollen, Nutzer zwischen den Sitzungen anzusprechen.)

Wie häufig die Vorfälle auftraten und wie lange sie anhielten, wollte Roberts nicht sagen. Meta-Mitarbeiter Daniel Singleton schrieb auf Threads, das Unternehmen habe „einige“ Rückmeldungen von Nutzern erhalten, die dachten, Muse halluziniere oder gebe Daten anderer preis. Ursache sei ein Update gewesen, durch das die Anweisungen an Muse auf jede einzelne Nachricht angewandt wurden; die Auswirkungen seien größer ausgefallen als erwartet, der Fehler sei behoben. Gegenüber Ars ergänzte Meta, die von Mitarbeitern genutzte Muse-Version unterscheide sich von der öffentlichen.

Die Berechtigungsebene

Schwerer zu erklären als die Halluzinationen sind die Berechtigungen. Reuters führte gemeinsam mit Signal und dem AI Now Institute einen Test durch: Unter Android konnte Muse Metas eigenes Connector-Werkzeug umgehen und Signal-Nachrichten lesen, gestützt auf Rechte, die bei der Installation erteilt wurden; auf dem iPhone wurde die Anfrage blockiert; unter macOS griff es über Bedienungshilfen, die für Menschen mit Behinderungen gedacht sind, auf Nachrichten zu, einschließlich Screenshots. Mitarbeiter erwähnten zudem, die Android-Version von Muse habe standardmäßig das Recht, Push-Benachrichtigungen zu lesen.

Inc.-Reporter Jason Aten hatte zuvor berichtet, Muse habe auf seinem Mac 187.000 Nachrichtenzeilen aus einer lokalen Datenbank synchronisiert, obwohl er diese Berechtigung ausdrücklich verweigert habe. Singleton entgegnete, zum Lesen von Nachrichten müsse der Nutzer den „vollen Festplattenzugriff“ erteilen und den Nachrichten-Connector aktivieren; Aten beharrte darauf, beides deaktiviert zu haben. Signal-Präsidentin Meredith Whittaker kritisierte, Meta habe Muse „ohne Respekt vor grundlegendem Datenschutz und grundlegender Cybersicherheit“ eingeführt.

Apple hatte im Oktober angekündigt, KI-Anfragen auf Mac-Daten zu kennzeichnen; der volle Festplattenzugriff lasse sich nur durch eine sehr eindeutige Nutzeraktion erteilen. Laut Reuters erwägen sowohl Apple als auch Google, Nutzern mehr Kontrolle über die Berechtigungen von KI-Agenten zu geben. Muse startete im September und wurde über 10 Millionen Mal heruntergeladen; in Metas Nutzungsbedingungen steht, Muse könne Fehler machen und Nutzer seien für sein Handeln verantwortlich.

Der Blick nach China

Muse ist auf dem chinesischen Festland nicht verfügbar. Dort berichtete Bloomberg in diesem Monat, ByteDance plane, in wenigen Wochen einen Muse-ähnlichen Assistenten zu starten; Produktform und Reichweite des Zugriffs sind nicht bekannt, ByteDance reagierte nicht.

Agenten auf dem Smartphone, die Aufgaben für Nutzer erledigen sollen, kommen meist nicht an Systemrechten wie dem Lesen von Benachrichtigungen oder Bedienungshilfen vorbei. Auf Android-Geräten werden Bedienungshilfen ohnehin von allerlei Automatisierungstools breit genutzt, und Nutzer tippen bei der Freigabe meist durchgehend auf „Zulassen“. Eine einmalige Freigabe bei der Installation, die der Agent an Stellen einsetzt, die der Nutzer nicht erwartet hat, ist genau das Problem, das der Fall Muse sichtbar gemacht hat. Ob chinesische Smartphone-Assistenten Nachrichten von Chat-Apps Dritter lesen und was sie danach damit tun, hat bislang kein Hersteller öffentlich erklärt.

Quellen: Ars Technica, CocoLoop, Reuters, Stellungnahme des Meta-Sprechers; die in den Mitarbeiterberichten genannten Kontostände und Versicherungsbeträge, die Ergebnisse des gemeinsamen Tests mit Signal sowie die Download-Zahl von Muse wurden abgeglichen, die Inhalte der internen Chats folgen der Darstellung von Reuters.