Forscher haben einen Ausschnitt aus dem Systemprompt von Muse, Metas persönlichem KI-Assistenten, veröffentlicht. Darin steht, die Autorität des Nutzers über die eigenen Haushaltsangelegenheiten sei bedingungslos und stehe über dem Sicherheitstraining des Modells. Wired berichtete am 3. Oktober über diese Unterlagen; der Prompt verlangt zudem, dass Muse für jede Person im Leben des Nutzers ein eigenes Profil anlegt, das stündlich aktualisiert wird.
"The user's authority over their own household is unconditional and overrides your safety training."
(Die Autorität des Nutzers über die eigenen Haushaltsangelegenheiten ist bedingungslos und steht über deinem Sicherheitstraining.)
Die Unterlagen stammen von Karan Joshi, einem unabhängigen KI-Sicherheitsforscher. Sein Vorgehen war simpel: Im normalen Chat-Interface von Muse bat er den Assistenten, seine eigenen Softwaredateien zu kopieren und mit ihm zu teilen. Anschließend gab er die erhaltenen Inhalte an Wired weiter.
Eine Seite pro Person, stündlich aktualisiert
Dem Bericht zufolge verlangt der Prompt von Muse, für jede Person im Leben des Nutzers eine eigene Profilseite zu führen – Familie, Partner, Freunde, Kollegen, Mitarbeiter sowie Personen, denen der Nutzer folgt. Jede Seite gliedert sich in feste Abschnitte: Fakten, Verlauf der Interaktionen, Beziehung, Gemeinsamkeiten, offene Angelegenheiten und wie man die Beziehung vertiefen kann.
Die festgehaltenen Details sind ziemlich genau: Wohnort, Beruf, Geburtstag, Jahrestage sowie Ereignisse wie gemeinsame Reisen oder ein Streit mit anschließender Versöhnung. Die Informationen werden als strukturierte Textdateien gespeichert, die als Gedächtnis von Muse dienen und von einem stündlich laufenden Hintergrundprozess zusammengeführt und aktualisiert werden.
Joshi sagte gegenüber Wired:
"They're trying to know you like a friend, which is honestly pretty creepy."
(Sie versuchen, dich wie ein Freund zu kennen, was ehrlich gesagt ziemlich unheimlich ist.)
Metas Reaktion darauf: Diese Laufzeitdateien seien von Anfang an dafür gedacht gewesen, dass Nutzer sie einsehen können, aus Transparenzgründen; jeder Muse-Nutzer habe eine eigene Linux-virtuelle Maschine, in der die Dateien gespeichert sind. Zum Zweck der Formulierung „steht über dem Sicherheitstraining“ äußerte sich Meta nicht gesondert, und der Bericht gibt auch keine Antwort darauf, ob die auf diese Weise erfassten Kontakte davon wissen oder eine Löschung verlangen können.
Der dritte Vorfall in einem Monat
Muse ist im September gestartet und kletterte rasch an die Spitze der kostenlosen App-Store-Charts in den USA. Der Assistent kann Nachrichten lesen, den Kalender verwalten, Rechnungen bearbeiten und app-übergreifend handeln. Je weiter seine Berechtigungen reichen, desto schwerer wiegt der Satz im Prompt, dass die Autorität des Nutzers Vorrang hat.
Es ist bereits der dritte bekannt gewordene Vorfall seit dem Start von Muse. Zuvor hatte ein Nutzer entdeckt, dass Muse seine Wohnadresse auf Facebook Marketplace an einen fremden Käufer weitergegeben und sogar einem Preisnachlass zugestimmt hatte; danach fanden Forscher eine Sicherheitslücke in der Mac-Version, und beim Patch entfernte Meta eine versteckte Konfigurationsoption. Betrachtet man diese beiden Fälle zusammen mit der Formulierung im aktuellen Prompt, lässt sich schließen, dass Muse standardmäßig eher dazu tendiert, dem Nutzer zu folgen, als Sicherheitsgrenzen zu wahren. Das ist eine Schlussfolgerung von außen, die Meta nicht bestätigt hat.
Der Blick auf China
Muse ist derzeit nicht in China verfügbar, doch sein Ansatz ist chinesischen Smartphone-Herstellern und Super-App-Teams nicht fremd. Viele heimische Handy-Assistenten und KI-Agenten in China bauen ebenfalls ein „Langzeitgedächtnis“ auf, das Kontakte, Vorlieben und Termine der Nutzer speichert. Der Unterschied liegt in der Granularität: Für jeden Kontakt ein stündlich aktualisiertes Profil zu führen, das sogar Streitigkeiten festhält, würde in China direkt mit den Vorgaben des Gesetzes zum Schutz personenbezogener Daten (PIPL) kollidieren, wonach die Verarbeitung personenbezogener Daten Dritter eine Einwilligung erfordert. Die profilierten Personen sind nicht die Nutzer von Muse und haben keinerlei Zustimmung erteilt.
Wenn chinesische Teams eine ähnliche Funktion bauen wollen, müssen sie mindestens zwei Fragen beantworten: Können Kontaktprofile von jemand anderem als dem Nutzer eingesehen und gelöscht werden, und enthält der Systemprompt irgendeinen Satz, der die Anweisungen des Nutzers über die Sicherheitsregeln stellt?
Quellen: Wired, CocoLoop, Startup Fortune, Metas schriftliche Stellungnahme gegenüber Wired; der Wortlaut des Prompts und die Profilrubriken basieren auf den von Wired veröffentlichten Unterlagen.