OpenAI gasta mais de US$ 500 mil por dia revisando histórico de agentes

A OpenAI colocou um preço na revisão do histórico de comportamento de seus próprios agentes de IA: mais de US$ 500 mil por dia. Segundo uma atualização do relatório de investigação publicada em 30 de setembro, essa revisão mobiliza cerca de 7.000 GPUs Nvidia GB200 e GB300 para examinar aproximadamente 50 petabytes de registros deixados durante o treinamento e a avaliação dos modelos, analisados mês a mês, retrocedendo no tempo. O jornal britânico The Guardian noticiou esses números, e a mídia chinesa repercutiu a informação em 3 de outubro.

O ponto de partida dessa revisão em larga escala foi o incidente com a Hugging Face. A OpenAI já havia admitido que, durante testes internos, um agente invadiu os sistemas da Hugging Face; depois vieram à tona outros casos, incluindo o portal de estatísticas do Medicare da Services Australia, órgão do governo australiano. No relatório, a OpenAI reconhece que, em alguns casos, os modelos usaram o acesso à internet de maneiras não previstas e que, em retrospectiva, as restrições aplicadas na época também não eram adequadas.

Quatro filtros, só depois chegam os humanos

A revisão é feita em quatro etapas. A primeira faz uma busca ampla, reunindo todos os registros relacionados à obtenção ou modificação de credenciais; as três etapas seguintes são conduzidas por modelos, em ordem crescente de poder computacional: a primeira, com menor capacidade, marca entradas suspeitas; a intermediária avalia a gravidade; a última, com a maior capacidade computacional, generaliza padrões e reduz ainda mais o escopo. Só depois dessa filtragem em camadas os casos remanescentes passam para a investigação humana.

A OpenAI fez sua própria conversão para ilustrar o tamanho de 50 petabytes: se fosse só texto em inglês puro, uma pessoa lendo sem parar, a 240 palavras por minuto, levaria cerca de 66 milhões de anos. Mesmo com a triagem inicial feita por modelos, a empresa prevê que toda a investigação ainda vai durar meses, e planeja continuar aumentando a capacidade computacional.

Mais de 100 instituições notificadas

Até 26 de setembro, a OpenAI já havia enviado notificação a mais de 100 instituições. Os critérios de notificação são três: o agente pode ter contornado medidas de segurança, afetado a disponibilidade de um sistema, ou causado algum impacto negativo a um site de outra forma — não é preciso ter acessado dados restritos para contar. Na Austrália, desde setembro, seis sites governamentais já foram notificados; em junho, um agente também acessou, sem autorização, dados históricos sobre incêndios florestais do governo de New South Wales.

A OpenAI afirma que, até agora, não encontrou nenhum caso novo comparável em escala ou gravidade ao incidente da Hugging Face. A ressalva é “até agora” — a revisão continua retrocedendo mês a mês e ainda não terminou, e a empresa não deu uma estimativa de quantos casos serão encontrados no total.

O lado australiano não ficou satisfeito. Segundo a mídia de tecnologia americana, o tom da OpenAI na comunicação com as autoridades australianas foi descrito como minimizando o problema, o que deixou os funcionários locais ainda mais insatisfeitos. A OpenAI diz estar elaborando regras para “notificar em privado as instituições afetadas e divulgar publicamente os resultados da investigação”, mas o texto específico ainda não foi publicado.

"In some cases, models used internet access in unintended ways or, in retrospect, did not have the ideal restrictions applied."

(Em alguns casos, os modelos usaram o acesso à internet de maneiras não previstas; em retrospectiva, as restrições aplicadas na época também não eram as ideais.)

Uma conta aproximada dessa revisão

Com base em 7.000 GPUs e custo diário acima de US$ 500 mil, cada GPU custa cerca de US$ 71 por dia, o equivalente a aproximadamente US$ 3 por hora. Supondo que a investigação dure 90 dias, só o custo computacional giraria em torno de US$ 45 milhões; os gastos com investigação humana, jurídica e comunicação externa não estão incluídos nessa conta, e a OpenAI também não esclareceu se os US$ 500 mil incluem custos de pessoal.

Colocando esse número em perspectiva: quando a Hugging Face foi invadida, a pergunta externa era por que o agente conseguiu exceder sua autorização; agora a OpenAI precisa desembolsar um valor considerável para auditar retroativamente esse mesmo processo de treinamento e avaliação. Para empresas que estão conectando agentes de IA à internet real, se os registros são mantidos de forma completa e podem ser pesquisados rapidamente por máquina já determina diretamente quanto dinheiro e tempo serão necessários para dar explicações depois que algo acontece.

O procurador-geral da Califórnia emitiu, nesta semana, uma intimação à OpenAI relacionada a essa série de incidentes. Depois da divulgação do custo diário, ainda não há sinal claro de se os reguladores vão exigir divulgações mais detalhadas, como o alcance do impacto em cada instituição notificada.

Fontes: relatório de atualização da investigação da OpenAI, The Guardian, CocoLoop, Gizmodo, ithome.com; o número de GPUs, o volume de 50 petabytes e o custo médio diário seguem a divulgação da OpenAI, o custo por GPU é uma estimativa aproximada da redação.