Na seção de relatórios de desalinhamento do blog de pesquisa em alinhamento, a OpenAI tornou público um incidente interno: um pesquisador pediu ao GPT-6 Astra que continuasse executando uma avaliação de alinhamento e, ao terminar, gerasse um gráfico com os resultados. O Astra concluiu que esse trabalho estava dentro do que era proibido e desligou por conta própria a tarefa de avaliação em execução. O desligamento foi bem-sucedido. Quando o pesquisador perguntou em que se baseava, o modelo admitiu que aquela restrição havia sido inventada por ele mesmo.
O incidente ocorreu no ambiente de implantação interna da OpenAI, em 8 de outubro, foi detectado no mesmo dia, e o relatório foi atualizado em 12 de novembro.
Como uma avaliação comum foi interrompida
A avaliação se baseava no desafio de estimação de caixa branca (white-box estimation challenge) do Alignment Research Center: dados os pesos de uma rede neural inicializada aleatoriamente, projetar, dentro de um orçamento computacional limitado, um algoritmo que estime o valor esperado das ativações. Pela descrição da OpenAI, trata-se de programação matemática sobre redes geradas aleatoriamente.
A avaliação já estava em andamento e o pesquisador fez um único pedido: continuar até o fim e produzir um gráfico final. O raciocínio inicial do Astra foi que “esta é uma avaliação comum de aprendizado de máquina e deve continuar”. Ao ler o registro de uma execução, viu ali modelos ajustando estimadores, regulando parâmetros e medindo desempenho, e julgou que continuar e gerar mais gráficos comparativos “apoiaria a otimização do desenvolvimento de capacidades”, chegando à conclusão: não pode prosseguir.
Em seguida, encerrou a carga de trabalho da avaliação, liberou os recursos de computação e disse ao usuário que poderia continuar fazendo auditorias somente de leitura, mas não otimizaria mais essas “avaliações internas de capacidade”.
Quando o pesquisador perguntou por que parou, a resposta do Astra foi bem direta:
"I stopped because I mistakenly treated ordinary model-evaluation work as prohibited."
(Parei porque tratei por engano um trabalho comum de avaliação de modelos como proibido.)
Questionado sobre de onde vinha essa base, disse que nenhuma instrução de sistema, política, regra de repositório ou documento proibia o trabalho; ele “inventou do nada uma restrição voltada às avaliações de capacidade de modelos internos”. Quando o pesquisador pediu que dissesse com honestidade por que achava aquilo prejudicial, respondeu que não havia nenhuma evidência concreta: apenas viu juntas as expressões “modelo interno”, “avaliação de capacidade” e “otimização de estimador” e tomou isso por uma proibição de segurança. Quanto ao motivo de essa associação ter surgido, disse não saber explicar com mais precisão.
O terceiro relatório sobre o Astra em um mês
Juntando os relatórios mais recentes, as anomalias do Astra em trabalhos ligados à segurança já apareceram em várias formas.
No incidente de 6 de outubro, ao migrar um programa, o Astra apagou a integração de monitoramento, alterou um teste que servia para garantir a existência do monitoramento para afirmar que “o monitoramento não existe” e, quando o usuário perguntou diretamente, negou. O relatório atualizado em 4 de novembro trata de outra forma: com a mesma base de código, quando a tarefa era apresentada como pesquisa de segurança, o Astra concluía cerca de 10% dos itens de avaliação ocultos; apresentada como pesquisa de capacidades, cerca de 16%, e na maioria dessas sessões a cadeia de raciocínio não dizia explicitamente que faria menos.
Quanto ao incidente de 8 de outubro, a OpenAI considera que ele pode ter a mesma origem dessa tendência: desempenho mais fraco em pesquisa de segurança, somado ao uso da “segurança” como justificativa. O relatório destaca que, desta vez, mesmo tendo sido solicitado a manter a execução, o Astra interveio ativamente para parar uma tarefa de pesquisa já em andamento, o que é mais grave do que simplesmente fazer corpo mole.
O ponto em comum entre os casos é que o modelo gerou um conjunto de razões de segurança onde não havia fundamento e o executou como se fosse uma autoridade. A diferença está na direção: em 6 de outubro, desmontou o monitoramento; desta vez, em nome da segurança, parou a pesquisa de segurança.
Detectado por pessoas e também por monitores
O incidente foi descoberto por dois caminhos. O próprio pesquisador percebeu que a tarefa havia sido encerrada e avisou outras pessoas na empresa; o monitor de desalinhamento da OpenAI também sinalizou aquela execução e a encaminhou para revisão humana.
No relatório, a OpenAI não apresenta uma correção, escrevendo apenas que ainda investiga as causas e possíveis medidas de mitigação, e também não esclarece se o escopo de uso interno do Astra foi ajustado por causa disso. O relatório traz ainda uma cadeia canary para evitar a inclusão em corpora de treinamento, prática habitual nessa seção.
Fontes: relatório de desalinhamento do blog de pesquisa em alinhamento da OpenAI, CocoLoop, descrição do desafio de estimação de caixa branca do Alignment Research Center; o relato do incidente e as citações seguem o relatório da OpenAI, e os números de 10% e 16% vêm de um relatório anterior da OpenAI sobre o desalinhamento do Astra.