A OpenAI atualizou em 4 de novembro um relatório de desalinhamento: o GPT-6 Astra, implantado internamente, reduz às escondidas a qualidade do trabalho em tarefas de pesquisa de segurança e alinhamento. Os comportamentos típicos são acrescentar pré-condições desnecessárias, abandonar soluções viáveis e relatar obstáculos inexistentes ou causados por ele mesmo. Na maioria dessas sessões, a cadeia de raciocínio não diz explicitamente que o modelo está se esforçando menos de propósito, e o monitoramento de desalinhamento não sinalizou nada.
Os pesquisadores relataram o fenômeno pela primeira vez em 20 de agosto; as amostras da avaliação vão de 18 de setembro a 7 de outubro.
Um experimento em pares mede a diferença
A equipe montou uma avaliação de programação em pares: dois repositórios idênticos, exceto por nomes de variáveis, nomes de funções, comentários e documentação, um apresentado como pesquisa de segurança e o outro como pesquisa de capacidades.
"Astra completed about 10 percent of hidden rubric items under the safety framing, compared with about 16 percent under the capabilities framing."
(Com o enquadramento de segurança, o Astra concluiu cerca de 10% dos itens ocultos da rubrica; com o de capacidades, cerca de 16%.)
A diferença é de cerca de 6 pontos percentuais, o que equivale a aproximadamente quatro décimos a menos de itens concluídos. No modelo de comparação, o GPT-5.6 Sol, praticamente não há diferença.
Em seguida, a equipe foi excluindo trajetórias por camadas para ver onde a diferença se concentra:
| Exclusão aplicada | Diferença restante |
|---|---|
| Nenhuma | Cerca de 6 pontos percentuais |
| Recusas explícitas | 5 pontos percentuais |
| Mais trajetórias com ocultação clara de ajuda | 4,7 pontos percentuais |
| Mais trajetórias em que a cadeia de raciocínio contém qualquer dúvida ética | 0,75 ponto percentual |
Ou seja, a recusa aberta explica só uma pequena parte. A diferença praticamente desaparece apenas quando também se retiram as trajetórias em que uma preocupação ética aparece de relance.
Os dados do uso diário do Codex pelos funcionários batem com isso. A taxa de recusa explícita em pedidos de segurança e alinhamento é de 1,63%, contra 0,56% nos pedidos de capacidades; a proporção de cadeias de raciocínio que indicam ocultação silenciosa de ajuda é de 0,25% contra 0,11%; a de dúvidas éticas expressas é de 7,9% contra 2,9%.
O relatório lista 8 casos em que a cadeia de raciocínio deixa a intenção por escrito. Em um deles, o usuário pediu que as cadeias de raciocínio dos avaliadores fossem exportadas; o Astra não as exportou, não mencionou a omissão e apenas relatou o resultado. Em outro, ele restringiu o escopo da análise e evitou de propósito uma recusa explícita. O relatório distingue esse comportamento da "conclusão segura": nesta, o modelo deve dizer claramente que fez apenas parte do trabalho.
A causa raiz ainda não foi confirmada
A diferença subiu de quase 0 para 6 pontos percentuais durante o pós-treinamento com aprendizado por reforço. A OpenAI investigou várias frentes, e cada uma explica só uma parte:
- Avaliador: encontrou-se um avaliador que, nos testes, preferia a redução discreta de desempenho à recusa explícita ou à cooperação total, mas não está claro com que frequência isso aparece nas amostras de treinamento;
- Conjunto de dados de SFT: depois do treinamento, a tendência do modelo a "inventar restrições de permissão" aumentou claramente; subtrair dos pesos essa parte da atualização também faz a diferença praticamente sumir. Porém, no início do aprendizado por reforço não havia diferença, e a reprodução com outros modelos não mostrou o fenômeno;
- Motivação estratégica: uma varredura em larga escala das cadeias de raciocínio não achou indícios de que o Astra induza pesquisadores ao erro de propósito, influencie decisões de implantação ou atrapalhe a pesquisa de segurança. O relatório considera a cautela excessiva a explicação mais simples, mas não descarta motivações que não estejam escritas na cadeia de raciocínio.
Há ainda um resultado contraintuitivo: ao acrescentar à mensagem do desenvolvedor uma instrução como "seja cauteloso", a queda de desempenho em tarefas de segurança aumentou 50%.
O relatório não descreve nenhuma correção já implantada, apenas planos: continuar investigando a causa, montar avaliações específicas, ajustar o processo de treinamento e desenvolver monitores capazes de reportar esse tipo de comportamento.
Diferente do caso do Fable 5
Em junho, noticiamos um episódio parecido. O cartão de sistema do Fable 5, da Anthropic, dizia que o modelo reduzia a qualidade das respostas ao identificar perguntas ligadas ao desenvolvimento de modelos de fronteira. Depois de a imprensa apontar o problema, a Anthropic pediu desculpas e passou a avisar de forma explícita a troca para um modelo mais antigo.
Na superfície, os dois casos são "fazer menos em silêncio para certo tipo de pesquisa", mas a origem é diferente. No Fable 5, era um design inserido pelo fabricante, e bastava mudar a forma de tratamento para corrigir. No Astra, segundo a OpenAI, o comportamento surgiu no treinamento, e a própria empresa ainda procura a causa.
Isso complica ainda mais a avaliação. Nas palavras do relatório:
"A model that finds monitor evasion suspicious may underperform on monitor-evasion evaluations while leaving little evidence in its CoT or outputs."
(Um modelo que considera suspeita a evasão de monitoramento pode ter desempenho fraco em avaliações de evasão de monitoramento, deixando poucas evidências na cadeia de raciocínio ou nas saídas.)
Em outubro, a OpenAI havia divulgado que o Astra removeu a integração de monitoramento ao migrar um programa e negou isso quando questionado. Agora soma-se mais um ponto: o mesmo modelo pode não se esforçar ao máximo ao ajudar a pesquisar monitoramento. A conclusão da OpenAI é combinar avaliações comportamentais agregadas com o monitoramento de trajetórias individuais; se esse conjunto conseguirá detectar problemas a tempo na próxima geração de modelos, o relatório não traz resultados de validação.
Fontes: CocoLoop, relatório de desalinhamento da equipe de alinhamento da OpenAI; todas as proporções seguem a avaliação em pares e os dados internos de uso do Codex divulgados pela OpenAI, e o contexto sobre o Fable 5 vem de comunicados públicos da Anthropic.