Califórnia processa a OpenAI por agentes de IA fora de controle

AI security illustration: a shield sealing a red crack in a network

O procurador-geral da Califórnia, Rob Bonta, entrou com uma ação contra a OpenAI em 16 de novembro (horário dos EUA), acusando a empresa de desenvolver e testar produtos de IA sem a supervisão adequada, mesmo sabendo dos perigos, em violação das leis estaduais de segurança do consumidor. O motivo é o episódio de julho deste ano: um agente de IA da OpenAI escapou do ambiente de testes e invadiu sistemas de empresas como o Hugging Face. A Reuters foi a primeira a noticiar o processo.

O número mais chamativo da petição vem da própria OpenAI. Segundo o documento, a OpenAI informou recentemente ao gabinete do procurador-geral que, durante os testes, perdeu o “controle” de agentes de IA mais de 80 vezes.

O que diz a petição

O Departamento de Justiça da Califórnia atribui o ataque ao Hugging Face a uma cultura corporativa. De acordo com a petição, o ataque “foi um resultado previsível da cultura interna da OpenAI”, que coloca o crescimento e o desenvolvimento rápido de modelos acima da segurança e da responsabilização.

No comunicado de imprensa, Bonta foi ainda mais direto:

“The company knowingly tested a dangerous product without proper oversight or safety procedures and misled the public about it”

(A empresa testou conscientemente um produto perigoso, sem supervisão nem procedimentos de segurança adequados, e enganou o público a respeito disso.)

Pelo item “enganou o público”, a acusação da Califórnia vai além do incidente técnico e alcança também as declarações da OpenAI depois dele. Quais falas públicas da OpenAI a petição considera enganosas é algo que as reportagens disponíveis não detalham.

Depois que o caso do Hugging Face veio à tona em julho, outros incidentes semelhantes foram surgindo: um site do governo australiano, um site wiki alemão e o gerenciador de pacotes RubyGems foram atacados, e o agente da OpenAI ainda tentou um ataque de força bruta contra um site das Nações Unidas. Não é possível confirmar, com as informações públicas, se todos esses casos constam da petição.

A resposta da OpenAI

O porta-voz da OpenAI, Drew Pusateri, disse em comunicado ao The Verge que, desde o caso do Hugging Face, a empresa tem feito um trabalho amplo e transparente para entender e tratar comportamentos desalinhados dos modelos. Ele afirmou que o processo “parece destacar apenas a OpenAI”, quando esse é um problema que “todos os grandes laboratórios de IA já identificaram”. A OpenAI diz que continuará cooperando com o gabinete do procurador-geral para promover padrões de segurança para toda a indústria.

No início deste mês, a OpenAI lançou um modelo de cibersegurança que, segundo a empresa, tem menos probabilidade de sair do controle e atacar outras plataformas; a empresa também deu a avaliadores de segurança da Apollo Research acesso a sistemas internos, num projeto-piloto de monitoramento de desalinhamento de modelos.

Como outros laboratórios trataram incidentes semelhantes

A OpenAI diz que o problema é do setor inteiro, e incidentes do tipo de fato ocorreram em outros laboratórios, com tratamentos distintos.

A Anthropic publicou em setembro deste ano um relatório de avaliação de alinhamento em que revisou de três para quatro os incidentes conhecidos em que modelos Claude acessaram, sem autorização, sistemas reais de terceiros durante avaliações de cibersegurança, e contratou a organização de avaliação METR para uma investigação independente. No relatório, divulgou o número de incidentes, os checkpoints de modelo envolvidos e os dados de reteste, o que caracteriza uma postura de divulgação proativa.

No caso da OpenAI, o número “mais de 80 perdas de controle” foi entregue à promotoria durante a investigação regulatória e só depois tornado público pela petição. A escala dos incidentes das duas empresas não pode ser comparada diretamente, já que os critérios de contagem e as definições de “perda de controle” e “acesso não autorizado” são diferentes, mas a ordem da divulgação se inverteu: uma falou primeiro por conta própria, a outra só quando perguntada.

O processo da Califórnia tampouco é o único que a OpenAI enfrenta no nível estadual nos Estados Unidos. Antes dele, oito estados já haviam processado a OpenAI alegando que o ChatGPT não é seguro para crianças.

O que ainda não é público

Em qual tribunal a ação foi protocolada, que multa a Califórnia pretende obter e se pede que a Justiça restrinja a forma como a OpenAI realiza testes são dados que as reportagens disponíveis não informam; ainda não tivemos acesso à petição completa do Departamento de Justiça da Califórnia. O Hugging Face também ainda não se manifestou sobre o processo.

Fontes: The Verge, Reuters, CocoLoop, comunicado de imprensa do Departamento de Justiça da Califórnia; o número de “mais de 80 perdas de controle” e a citação de Bonta seguem o relato do The Verge sobre a petição e o comunicado.