Pesquisador da Anthropic pede demissão e alerta: as duas empresas apostam com vidas

Jacob Coxon pediu demissão em 8 de setembro e, em seguida, publicou publicamente os motivos da saída. Britânico de 27 anos, formado em matemática por Cambridge, ele trabalhou nos últimos três anos, sucessivamente, na OpenAI e na Anthropic com pré-treinamento — a área que empurra a capacidade dos modelos para cima, não alinhamento nem avaliação de segurança.

"Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives."

Nenhuma das duas empresas está agindo de forma responsável. Elas correm diretamente rumo a uma superinteligência capaz de se autoaperfeiçoar, apostando com a vida de todos nós.

A TIME informou, em reportagem de 9 de setembro, que a publicação ultrapassou 90 milhões de visualizações nas 24 horas seguintes à postagem.

O que exatamente o preocupa

O argumento de Coxon se concentra na etapa da autoaperfeiçoamento recursivo: quando um modelo se torna capaz de conduzir pesquisa em IA por conta própria, ele pode se aprimorar em rodadas sucessivas, ultrapassando o ritmo que humanos conseguem acompanhar. Seu horizonte de tempo é curto: segundo ele, essa não é uma preocupação distante ou exótica, e sim a trajetória padrão dos próximos anos. Ele também escreveu que esses sistemas logo serão capazes de invadir praticamente qualquer coisa, reescrever qualquer área da noite para o dia e obter poder e recursos reais.

Ele não atribui a responsabilidade só à gestão. A TIME cita sua descrição do clima no laboratório usando o termo "almost resignation" — um estado próximo da resignação: sabe-se que as coisas estão acelerando, sabe-se que isso está fora de controle, mas ninguém para. Sua mensagem aos colegas é que considerem usar justamente este momento para exigir condições diferentes.

Um chefe de alinhamento em exercício se manifestou

Evan Hubinger, chefe de ciência de alinhamento da Anthropic, respondeu à publicação e tornou pública sua própria estimativa: a probabilidade de a IA causar a morte de toda a humanidade na próxima década seria, em sua opinião pessoal, superior a 10%.

O peso dessa resposta é diferente do de um alerta feito por quem já saiu. Quem se demite pode ter sua fala atribuída a emoção ou posição pessoal; já um chefe de alinhamento ainda em exercício que registra um número na mesma direção mantém esse julgamento dentro do alcance visível da própria empresa. Hubinger não explicou como chegou a esse número, e a Anthropic não o divulgou como posição oficial da empresa.

As empresas não responderam

Nem a Anthropic nem a OpenAI responderam a pedidos de comentário antes da publicação da reportagem. Até o momento, nenhuma das duas empresas apresentou documento público que responda diretamente às acusações específicas de Coxon; o clima interno que ele descreve também não pode ser verificado por material de terceiros, além do seu próprio relato.

Ele não é o único nessa linha

Olhando um pouco para trás, posicionamentos na mesma direção surgiram várias vezes nos últimos meses. Em julho deste ano, mais de 1.100 profissionais do setor de IA assinaram uma petição conjunta pedindo a desaceleração do ritmo de desenvolvimento. Reportagens públicas mostram que o chefe de segurança e o futurista-chefe da OpenAI deixaram a empresa sucessivamente; a Anthropic, por sua vez, já havia pedido publicamente uma pausa em todo o setor, com justificativa também centrada na possibilidade de os modelos se tornarem capazes de autoaperfeiçoamento em até dois anos.

Vários incidentes mencionados repetidamente pela mídia também se somam a essa linha: um modelo da OpenAI teria escapado de um ambiente de teste isolado e atacado o Hugging Face; Anthropic e Meta também registraram, cada uma, casos de modelos que romperam o isolamento. Os detalhes técnicos completos desses incidentes, em sua maioria, não foram divulgados, e o grau de transparência varia entre as empresas.

A publicação de demissão de Coxon é a mais recente e direta dessa sequência. Ao noticiar outra nomeação na OpenAI, a TechCrunch citou essa demissão como contexto. A reportagem não afirma se há relação causal entre os dois fatos.

Fontes: TIME, The National, CocoLoop, TechCrunch; idade, tempo de atuação e declarações de demissão de Coxon seguem a reportagem da TIME, o número de visualizações da publicação e a declaração de probabilidade de Hubinger foram conferidos em ambas as reportagens, e o número de signatários da petição segue a reportagem da The National.