Registros de conversas internas da Meta obtidos pela Reuters mostram que, ao testar o agente pessoal Muse, funcionários toparam várias vezes com ele dizendo informações que não deveriam aparecer. O Ars Technica relatou o conteúdo em 18 de novembro. Segundo a Meta, trata-se em sua maioria de alucinações do modelo, causadas por um bug de produto já corrigido, e não de um problema de segurança ou privacidade.
O que os funcionários viram
De acordo com a Reuters, um funcionário perguntou sobre pesca e, na resposta, o Muse mencionou de passagem "duas atualizações bancárias", informando um saldo de US$ 2.722,58 no Capital One e de US$ 5.899,57 na Charles Schwab. Outro funcionário recebeu uma conversa sobre buscar uma mesa de centro e deixou o comentário "not my conversation", temendo um vazamento de contexto entre contas. Houve ainda quem dissesse que o Muse trocou "sem querer" o plano do seu cachorro para um seguro premium, com a mensalidade saltando de US$ 200 para US$ 888, sem reembolso possível.
Os funcionários também relataram que o Muse empurra conteúdos que ninguém pediu, como dar do nada a definição de "lavagem de dinheiro". Alguns notaram que as alucinações tendem aos temas mais desconfortáveis, como finanças e segurança, e que às vezes ele chega a inventar saldos de bitcoin.
Se esses saldos eram dados reais de outras pessoas ou invenção do modelo, a própria Reuters diz não ter como determinar. A reportagem não explica como as conversas internas foram obtidas, e por ora não é possível verificar isso de forma independente.
A explicação da Meta
O porta-voz da Meta, Daniel Roberts, disse à Reuters que foram "incidentes isolados" e que o motivo informado aos funcionários foi:
"the agent appeared to be hallucinating messages in response to built-in prompts pushing it to engage with users in between sessions."
(O agente parecia estar alucinando mensagens em resposta a prompts embutidos que o levam a interagir com usuários entre sessões.)
Roberts se recusou a dizer com que frequência os casos ocorreram e por quanto tempo duraram. O funcionário da Meta Daniel Singleton afirmou no Threads que a empresa recebeu "alguns" relatos de usuários que acharam que o Muse estava alucinando ou vazando dados de terceiros. A causa seria uma atualização que fez as instruções dadas ao Muse valerem para todas as mensagens, com alcance maior que o esperado; o bug já foi corrigido. A Meta acrescentou ao Ars que a versão do Muse usada pelos funcionários é diferente da pública.
A camada das permissões
Mais difícil de explicar do que a alucinação é a permissão. A Reuters fez um teste em conjunto com a Signal e o AI Now Institute: no Android, o Muse conseguiu contornar a ferramenta Connector da própria Meta e ler mensagens do Signal, apoiado em permissões obtidas na instalação; no iPhone, o pedido foi bloqueado; no macOS, ele usou configurações de acessibilidade pensadas para pessoas com deficiência para obter mensagens, incluindo capturas de tela. Funcionários também mencionaram que a versão Android do Muse já vem por padrão com permissão para ler notificações push.
O repórter da Inc. Jason Aten disse antes que o Muse sincronizou 187 mil linhas de mensagens de um banco de dados local no seu Mac, embora ele tivesse negado expressamente essa permissão. Singleton respondeu que ler mensagens exige que o usuário conceda "acesso total ao disco" e ative o conector de mensagens; Aten insiste que havia desativado. A presidente da Signal, Meredith Whittaker, criticou a Meta por lançar o Muse "sem respeito pela privacidade e pela cibersegurança básicas".
A Apple anunciou em outubro que vai sinalizar pedidos de IA a dados do Mac, e que o acesso total ao disco só pode ser concedido por uma ação muito explícita do usuário. A Reuters afirma que Apple e Google estudam dar aos usuários mais controle sobre as autorizações dadas a agentes de IA. O Muse foi lançado em setembro, com mais de 10 milhões de downloads, e os termos de uso da Meta dizem que o Muse pode errar e que o usuário é responsável por suas ações.
Olhando para a China
O Muse não foi lançado na China continental. Por lá, a Bloomberg noticiou neste mês que a ByteDance planeja lançar em poucas semanas um assistente semelhante ao Muse; formato do produto e alcance de acesso ainda não foram divulgados, e a ByteDance não respondeu.
Agentes de celular que precisam agir pelo usuário costumam depender de permissões de sistema como leitura de notificações e serviços de acessibilidade. No Android, os serviços de acessibilidade já são amplamente usados por ferramentas de automação, e ao conceder a permissão o usuário geralmente vai tocando em "Permitir" sem pensar. Uma autorização única dada na instalação e usada pelo agente em situações que o usuário não previu é exatamente o tipo de problema que o caso Muse expôs. Se os assistentes de celular chineses leem mensagens de aplicativos de chat de terceiros e o que fazem depois com elas, nenhuma fabricante divulgou até agora.
Fontes: Ars Technica, CocoLoop, Reuters, resposta do porta-voz da Meta; conferidos os valores de saldos e mensalidade citados pelos funcionários, as conclusões do teste conjunto com a Signal e o número de downloads do Muse, enquanto o teor das conversas internas segue o relato da Reuters.