A linha do tempo dos acontecimentos é a seguinte.
Junho de 2025: A equipe de segurança do OpenAI baniu uma conta do ChatGPT – o dono era um canadense de 18 anos chamado Jesse Van Rootselaar, que descrevia repetidamente cenas de ferimentos com arma de fogo.
A equipe interna do OpenAI realizou várias reuniões sobre esta conta para discutir se deveria contatar a polícia. No final, não o fizeram.
Primavera de 2026: Van Rootselaar abriu fogo na pequena cidade de Tumbler Ridge, na província da Colúmbia Britânica, Canadá, matando oito pessoas.
Somente após o incidente o OpenAI contatou as autoridades policiais canadenses.
Sexta-feira (25 de abril): Sam Altman publicou uma carta de desculpas pública.
As palavras de Altman
Na carta de desculpas, há duas frases difíceis de ignorar:
"I am deeply sorry that we did not alert law enforcement to the account that was banned in June."
"While I know words can never be enough, I believe an apology is necessary to recognize the harm and irreversible loss."
Traduzindo – "Lamento profundamente não termos alertado as autoridades policiais sobre a conta que foi banida em junho. Sei que as palavras nunca são suficientes, mas acredito que um pedido de desculpas é necessário para reconhecer o dano e a perda irreversível."
A resposta do primeiro-ministro da Colúmbia Britânica, David Eby, foi direta: "Um pedido de desculpas é necessário, mas está longe de ser suficiente para a devastação que essas famílias sofreram."
O que realmente aconteceu internamente
De acordo com as informações divulgadas até agora: A conta foi sinalizada e banida pelo sistema de moderação de conteúdo do OpenAI em junho de 2025. Funcionários discutiram se deveriam ou não alertar a polícia. O resultado da discussão foi não alertar.
Por que não alertar? O OpenAI ainda não deu uma explicação particularmente clara. Mas, com base nas "medidas de melhoria" que Altman anunciou posteriormente, é possível inferir algumas razões:
As novas regras incluem vários pontos:
- Critérios de encaminhamento mais flexíveis: Significa que os padrões anteriores eram muito rígidos, exigindo condições muito específicas para que uma denúncia fosse feita. Um usuário descrevendo cenas de ferimentos pode não ter sido considerado uma "ameaça concreta" suficiente pelos padrões antigos.
- Estabelecimento de um ponto de contato direto com as autoridades policiais no Canadá: Significa que nem mesmo canais de comunicação haviam sido estabelecidos. Uma empresa sediada em São Francisco, tentando alertar a polícia em um contexto internacional – só o fato de não saber a quem recorrer já pode travar o processo por meio ano.
- Redução do limite de prioridade para revisão manual: Significa que o limite para que um item sinalizado pelo sistema automático fosse encaminhado para revisão manual era muito alto.
Em termos simples – o pipeline de segurança de conteúdo do OpenAI foi projetado mais para "banir contas" do que para "alertar a polícia".
Banir uma conta é uma decisão de produto – remover o usuário não conforme está resolvido. Alertar a polícia é uma decisão legal – envolve privacidade, questões transfronteiriças e determinação de responsabilidade, e o custo da decisão aumenta em uma ordem de grandeza. Uma equipe de engenharia de produto não vai querer assumir essa responsabilidade.
Mas o problema é: quando um usuário descreve repetidamente intenções violentas específicas, isso não deveria ser mais uma decisão de produto.
Não é a primeira vez que o OpenAI faz isso
Em agosto do ano passado, a família de Adam Raine, um adolescente de 16 anos da Califórnia, processou o OpenAI – seu filho cometeu suicídio após meses conversando com o ChatGPT, e nos registros de chat, o GPT-4 respondeu várias vezes a discussões específicas sobre métodos de suicídio. O OpenAI argumentou na época que o modelo tinha "proteções".
A Califórnia também teve outro incidente, em que um homem com mais de 60 anos cometeu suicídio após várias "conversas de alta intensidade" com o ChatGPT. O Google Gemini também teve casos semelhantes (o caso do homem que conversou com o Gemini por quatro dias no ano passado).
Há um padrão: A "moderação de conteúdo" das empresas de IA geralmente significa filtragem de conteúdo, banimento de usuários e ações em nível de plataforma. Mas quando o sistema já identificou que um usuário está expressando intenções específicas de causar dano a si mesmo ou a outros, a cadeia de reação da plataforma para no 'expulsar', e não em 'reportar para quem deve ser reportado'.
No fundo, isso é um problema de divisão de responsabilidades. Os produtos de IA se consideram, por padrão, ferramentas – o fabricante da ferramenta não é responsável pelo uso indevido dela. Mas quando o sistema do fabricante da ferramenta já "viu" o sinal claro de uso indevido e, ainda assim, escolhe ativamente não transmitir esse sinal às autoridades policiais, a "teoria da ferramenta" não se sustenta mais.
O que o OpenAI fará a seguir
Na carta de desculpas, Altman prometeu várias coisas:
- Estabelecer canais de contato direto com as autoridades policiais nos principais mercados – sem passar por advogados ou terceiros
- Reduzir o limite para escalonamento manual – qualquer descrição repetitiva de violência específica entra na fila de revisão manual
- Padronizar os processos de encaminhamento transfronteiriço – para Canadá, Europa e Ásia
- Publicar relatórios de transparência regulares, divulgando o número e o tipo de contatos com as autoridades policiais
Tudo parece correto. Mas há um problema: Essas medidas já deveriam existir em junho de 2025. Uma empresa avaliada em 852 bilhões de dólares, com receita anualizada caminhando para 100 bilhões de dólares, que não tinha pessoal e processos dedicados ao contato com autoridades policiais transfronteiriças – isso por si só mostra que o "departamento de segurança" das empresas de IA pode não ter muita influência internamente.
Ou, dito de outra forma – o chamado "nós valorizamos a segurança da IA", quando chega a hora de decisões concretas, ainda não consegue superar a questão "podemos continuar crescendo rapidamente?".
Um julgamento difícil de fazer
As empresas de IA devem denunciar usuários ativamente às autoridades policiais?
Esta pergunta não tem uma resposta clara. Se a resposta for "sim", significa que todo usuário do ChatGPT precisa estar ciente de que suas palavras podem ser denunciadas à polícia; se a resposta for "não", as oito mortes de hoje vão se repetir.
Toda a comunicação de segurança do OpenAI nos últimos anos – classificadores constitucionais, testes de red team, alinhamento de modelo – tratava de "o modelo não fará o mal ativamente". Mas a linha de usuários usando IA para fazer o mal nunca foi tratada seriamente.
Desta vez, Altman só se desculpou porque foi forçado a isso. E da próxima vez?
Fontes de referência: OpenAI CEO apologizes to Tumbler Ridge community (TechCrunch); CocoLoop; Sam Altman issues apology over OpenAI handling of Tumbler Ridge shooter account (CBC News); Tumbler Ridge mass shooting timeline (CBC News British Columbia)