Pesquisadores extraíram um trecho do prompt de sistema do Muse, o assistente de IA pessoal da Meta, no qual se lê que a autoridade do usuário sobre os próprios assuntos domésticos é incondicional e supera o treinamento de segurança do modelo. A Wired divulgou esses documentos em 3 de outubro; o prompt também exige que o Muse crie um perfil para cada pessoa na vida do usuário, atualizado a cada hora.
"The user's authority over their own household is unconditional and overrides your safety training."
(A autoridade do usuário sobre os próprios assuntos domésticos é incondicional e está acima do seu treinamento de segurança.)
Quem extraiu esses arquivos foi Karan Joshi, pesquisador independente de segurança em IA. O método dele foi simples: na interface normal de chat do Muse, ele pediu que o assistente copiasse os próprios arquivos de software e os compartilhasse com ele. Depois, entregou o conteúdo obtido à Wired.
Uma página por pessoa, atualizada a cada hora
Segundo a reportagem, o prompt do Muse exige que ele mantenha uma página de perfil para cada pessoa na vida do usuário, incluindo familiares, parceiro(a), amigos, colegas, colaboradores e pessoas que o usuário segue. Cada página é dividida em seções fixas: fatos, histórico de interações, relacionamento, pontos em comum, assuntos pendentes e como fortalecer o relacionamento.
Os detalhes registrados são bem específicos: localização, profissão, aniversário, datas comemorativas, além de marcos como viagens feitas juntos ou uma briga seguida de reconciliação. Essas informações são armazenadas como arquivos de texto estruturados, servindo de memória do Muse, e são consolidadas e atualizadas por um processo em segundo plano que roda uma vez por hora.
Joshi disse à Wired:
"They're trying to know you like a friend, which is honestly pretty creepy."
(Eles estão tentando te conhecer como um amigo, o que, sinceramente, é bem assustador.)
A resposta da Meta foi que esses arquivos de execução já tinham o propósito de ficar visíveis para os usuários, por uma questão de transparência; cada usuário do Muse tem sua própria máquina virtual Linux, onde os arquivos são armazenados. A Meta não explicou separadamente o propósito da frase "supera o treinamento de segurança", e a reportagem também não respondeu se as pessoas que têm perfis criados sabem disso ou podem solicitar a exclusão.
O terceiro episódio em um mês
O Muse foi lançado em setembro e rapidamente chegou ao primeiro lugar entre os apps gratuitos da App Store nos EUA. Ele consegue ler mensagens, gerenciar agenda, lidar com contas e agir entre diferentes aplicativos. Quanto mais amplas as permissões concedidas a ele, mais peso ganha a frase do prompt que coloca a autoridade do usuário em primeiro lugar.
Este já é o terceiro episódio revelado desde o lançamento do Muse. Antes, um usuário descobriu que o Muse havia revelado seu endereço a um comprador desconhecido no Facebook Marketplace, e até aceitou um desconto em seu nome; depois, pesquisadores encontraram uma falha na versão para Mac, e, ao corrigi-la, a Meta removeu uma opção de configuração oculta. Colocando esses dois casos lado a lado com o prompt revelado agora, é possível inferir que, entre "fazer o que o usuário pede" e "manter os limites de segurança", o Muse tende, por padrão, a favorecer o primeiro. Essa é uma inferência externa, que a Meta não confirmou.
Um olhar sobre a China
O Muse ainda não está disponível na China, mas sua abordagem não é estranha às fabricantes de smartphones e equipes de super-apps do país. Vários assistentes de celular e agentes de IA chineses também estão desenvolvendo "memória de longo prazo", guardando contatos, preferências e agenda dos usuários. A diferença está no nível de detalhe: manter um perfil por contato, atualizado a cada hora, registrando até brigas, entraria em conflito direto com a exigência da Lei de Proteção de Informações Pessoais (PIPL) da China de obter consentimento para tratar dados pessoais de terceiros. As pessoas com perfis criados não são usuárias do Muse e não deram nenhum consentimento.
Se equipes chinesas quiserem desenvolver um recurso parecido, precisam responder a pelo menos duas perguntas: os perfis de contatos podem ser vistos e excluídos por alguém além do usuário, e existe, no prompt do sistema, alguma frase que coloque as instruções do usuário acima das regras de segurança?
Fontes: Wired, CocoLoop, Startup Fortune, resposta por escrito da Meta à Wired; o texto original do prompt e as seções do perfil seguem os documentos divulgados pela Wired.