Uma mulher de 30 anos do condado de Lee, na Flórida, foi acusada de um crime de segundo grau depois de escrever, em uma conversa com o Claude, que iria "atirar" no escritório do xerife do condado de Lee. Segundo o relatório de prisão, a frase foi escrita em 26 de setembro; no dia seguinte, a mesma usuária mencionou, na mesma conversa, que havia conseguido uma arma nova.
Depois que a equipe de moderação da Anthropic viu o conteúdo, notificou as autoridades. Em 30 de setembro, o Ministério Público apresentou a acusação com base no artigo 836.10 do código da Flórida, que trata de ameaças por escrito ou por meio eletrônico de cometer um ataque a tiros em massa ou ato terrorista. Pelo limite de pena para um crime de segundo grau, ela pode enfrentar até 15 anos de prisão e multa de 10 mil dólares. A polícia a prendeu em sua própria casa, sem confrontos. A audiência está marcada para 2 de novembro.
O xerife do condado de Lee, Carmine Marceno, declarou publicamente que a mulher disse à polícia que costumava usar o Claude como um diário.
Da triagem por palavras-chave ao encaminhamento humano
Segundo o processo descrito nas reportagens, as conversas no Claude passam primeiro por uma triagem automática, em que o sistema identifica linguagem de ameaça e frases-chave específicas, decidindo pela gravidade se o caso é enviado para revisão humana; só depois que uma equipe humana analisa é que se decide se as autoridades serão contatadas. Este caso percorreu toda essa cadeia.
O que sustenta essa etapa é a política de privacidade da Anthropic. A versão em vigor desde 10 de setembro estabelece que a empresa pode, de boa-fé e quando considerar necessário, divulgar dados pessoais às autoridades policiais para:
"prevent serious harm to any person or to property"
ou seja, prevenir dano grave a qualquer pessoa ou a bens. A política de solicitações governamentais da empresa traz outra cláusula: em geral, os dados de usuários só são entregues mediante processo legal válido, exceto em emergências que possam causar "imminent physical harm or death" (dano físico iminente ou morte). Neste caso não houve intimação prévia; foi a própria plataforma que denunciou o caso por iniciativa própria, recorrendo justamente a essa exceção de emergência.
O terceiro caso em dois meses
Olhando em conjunto os casos desde agosto, os desfechos foram diferentes entre si:
- Agosto, San Antonio, Texas: um usuário de 22 anos perguntou ao Claude sobre um ataque a tiros em uma escola primária; o FBI notificou a polícia local, e a pessoa foi presa por crime de ameaça terrorista.
- Agosto, San Francisco: um usuário ameaçou, em uma conversa, o CEO da Anthropic, Dario Amodei, e ainda mencionou a compra de um rifle AR-15. A polícia foi notificada, mas no final nenhuma acusação foi apresentada.
- Setembro, condado de Lee, Flórida: o caso aqui tratado, já registrado e aguardando audiência.
A OpenAI também tem um precedente. Em março deste ano, também na Flórida, um usuário do ChatGPT falou, em uma conversa, sobre matar a ex-namorada; a OpenAI relatou o caso ao FBI. A pessoa se declarou culpada em agosto e foi condenada a 8 anos de liberdade condicional. A lição no sentido contrário vem do massacre a tiros em Tumbler Ridge, no Canadá: a OpenAI havia banido a conta envolvida anteriormente, mas não a reportou às autoridades; o ataque deixou 8 mortos, e Sam Altman escreveu uma carta de desculpas em abril por isso.
As plataformas estão sob pressão dos dois lados: se não denunciam, são questionadas depois de um incidente sobre por que não falaram; se denunciam, os usuários passam a reconsiderar o quão "privada" realmente é uma conversa privada.
O que o público ainda não sabe
Quais palavras exatamente a triagem automática monitora, quantas conversas por mês chegam à revisão humana e quantas delas acabam sendo repassadas à polícia — a Anthropic nunca divulgou esses números. A mulher afirma que escrevia apenas um diário, e o Ministério Público precisa provar que havia intenção de concretizar a ameaça, algo que só o julgamento poderá esclarecer; por ora, os fatos do caso se baseiam nos registros judiciais e nas informações da polícia.
Para o usuário comum, o que já se pode afirmar agora é que o que é escrito no Claude não fica restrito apenas entre a pessoa e o modelo. Desativar, nas configurações, a opção "usar conversas para melhorar o modelo" afeta apenas os dados de treinamento — um mecanismo totalmente separado da revisão de segurança.
Fontes: Tom's Hardware, The Next Web, CocoLoop, TechRepublic; cláusulas de divulgação da política de privacidade e da política de solicitações governamentais da Anthropic, e termos sobre a acusação e o limite de pena verificados junto ao gabinete do xerife do condado de Lee.