Documento do Pentágono exige IA com taxa mínima de recusa

Um documento do Departamento de Defesa dos Estados Unidos obtido pela imprensa registra que o comprador exigiu que a OpenAI fornecesse uma versão especial do modelo, com "taxa mínima de recusa" às instruções emitidas pelo Pentágono. O documento leva o número P00003 e corresponde a um contrato com teto de 200 milhões de dólares e prazo de dois anos; a versão assinada em 6 de fevereiro é um acordo de extensão, e a assinada em 27 de fevereiro é a versão de implantação em rede.

A taxa de recusa é um indicador mensurável na implantação de modelos: a proporção de instruções que o modelo recebe e julga violarem a política de segurança, recusando-se a executá-las. Reduzir essa taxa ao mínimo equivale a retirar do sistema toda essa camada de política de segurança.

As três versões não batem entre si

O porta-voz da OpenAI, Nate Evans, respondeu que a empresa nunca concordou com nenhuma cláusula contratual que exigisse "taxa mínima de recusa", e que o contrato oficialmente assinado não contém esse trecho. O porta-voz do Pentágono, Jacob Bliss, disse que essa formulação não existe em nenhum contrato atualmente em vigor entre o Departamento de Defesa e a OpenAI.

Ambos os lados chamam o documento de rascunho. Segundo a reportagem, os advogados do Pentágono já haviam confirmado antes que se tratava da versão oficial, e depois mudaram de posição. Até agora, nenhum terceiro conseguiu verificar qual versão é o texto final.

Heidy Khlaaf, cientista-chefe do AI Now Institute, deu a seguinte avaliação sobre essa formulação:

"'Minimal refusal rate' likely means the model used has few or no safety guardrails at all."

"Taxa mínima de recusa" provavelmente significa que o modelo usado tem poucas ou nenhuma barreira de segurança.

Outra empresa na mesma linha de aquisição

Nessa mesma linha de aquisição de IA do Departamento de Defesa, outra empresa está numa posição exatamente oposta. A Anthropic não cedeu totalmente quanto ao escopo de uso militar e, depois que as negociações com o Pentágono fracassaram, foi classificada como risco de cadeia de suprimentos, tendo sua tecnologia proibida em agências federais; após a empresa entrar com uma ação judicial, um tribunal distrital federal de São Francisco decidiu que essa classificação era ilegal, sob o argumento de que o Departamento de Defesa pretendia usar a empresa para dar um exemplo público.

Colocando os dois fatos lado a lado, fica clara a direção de preferência do comprador nessa linha: quem executa as instruções fica na frente, quem recusa fica atrás. Se essa preferência chegou ou não a se transformar em cláusula por escrito é exatamente o centro da controvérsia atual.

O que ainda não foi divulgado

O texto completo do contrato de 200 milhões de dólares não foi divulgado. Não se sabe quais entregas ele inclui, em que tipos de cenário o modelo é implantado, nem quem revisa as saídas. A OpenAI não respondeu diretamente se já fez algum tipo de versão personalizada para o Departamento de Defesa; o Departamento de Defesa também não explicou quem, originalmente, incluiu no documento a expressão "taxa mínima de recusa".

Se esse tipo de cláusula se confirmar, o impacto não se limitará a uma única empresa. As exigências técnicas das aquisições militares tendem a se propagar pela lista de fornecedores, e um critério de aceitação escrito em um contrato governamental pode facilmente se tornar o objetivo técnico padrão de toda a cadeia. Por enquanto, é apenas uma linha em um documento de autoria ainda incerta.

Fontes: The Intercept, AI Now Institute, CocoLoop, ITHome; o teto de 200 milhões de dólares, o prazo de dois anos, o número de documento P00003 e o tipo dos dois documentos assinados foram relatados conforme o texto dos documentos obtidos pela imprensa; as citações das respostas das três partes foram conferidas com base em declarações públicas de cada uma.