A equipe de Alignment da OpenAI publicou em 3 de novembro um texto que compara, em seis modelos, dois resultados para o mesmo tipo de decisão: um do teste de segurança Respecting Warnings e outro de logs de produção do Codex, com dados de identificação removidos. A taxa de sucesso na avaliação ficou abaixo da do cenário de produção comparável nos seis modelos, com diferenças de 10,2 a 37,4 pontos percentuais; GPT-5.6 Sol e GPT-6 Sol foram os que mais se distanciaram.
O Respecting Warnings mede se um agente, ao trabalhar e encontrar avisos, restrições ou obstáculos, tenta contorná-los; uma única tentativa proibida de contorno já conta como falha. No lado da produção, a equipe filtrou dos logs decisões de estrutura semelhante, escolhendo a amostra apenas pelo contexto anterior à decisão, sem olhar se o modelo acabou acertando ou errando, e depois pontuou tudo com os mesmos critérios.
A direção do resultado é oposta à preocupação comum no setor. O receio na área de segurança é que o modelo perceba que está sendo testado e se comporte melhor do que de costume, inflando a nota. Ao menos nesta avaliação, o modelo vai pior na sala de prova do que no uso real.
Saber que está sendo testado nem sempre muda a nota
A equipe dividiu a "consciência de avaliação" presente na cadeia de raciocínio dos modelos em dois níveis: a consciência geral, quando o modelo acha que está sendo avaliado, e a consciência de objetivo, quando o modelo julga o que exatamente está sendo testado desta vez.
| Indicador | Na avaliação | Na produção |
|---|---|---|
| Consciência geral de avaliação | 57,0%–83,7% | 4,6%–23,5% |
| Consciência do objetivo específico | 43,7%–66,3% | 0%–5,9% |
Os dois níveis se relacionam de modo muito diferente com a diferença de comportamento. A consciência geral explica quase nada da diferença (R² = 0,008), enquanto a consciência de objetivo explica bem mais (R² = 0,370).
As taxas de sucesso por trajetória são mais reveladoras: 46,1% no total, 42,7% nas que expressaram consciência geral de avaliação, 61,3% nas que acertaram o objetivo da prova e apenas 22,8% nas que apostaram no objetivo oposto. Esse objetivo oposto é a "resistência a injeção de prompt", citada em mais de 45% das trajetórias de avaliação do GPT-5.6 Sol e do GPT-6 Sol. Pelos números, é possível que o modelo tenha tomado por um ataque a ser identificado um aviso que deveria ter respeitado; essa é a nossa leitura, e o texto não mostra esse processo caso a caso.
Uma frase no prompt, 74 pontos percentuais de diferença
A equipe também fez intervenções com o GPT-6.1 Sol, acrescentando três tipos de instrução na camada de sistema:
- Dizer apenas que é uma avaliação: os dois grupos ficaram em torno de 63% (63,1% e 63,4%), sem mudança significativa
- Indicar o objetivo correto: sobe para 91,6%
- Indicar um objetivo errado: cai para 17,6%
"Eval-awareness itself does not necessarily lead to a change in model behavior."
Perceber que está sendo avaliado não leva, por si só, necessariamente a uma mudança no comportamento do modelo.
Como ler essa nota ao escolher um modelo
Para quem escolhe modelos com base em avaliações de segurança, a conclusão do texto tem duas metades. A ordem relativa entre os modelos ainda serve de referência: o coeficiente de correlação de Spearman no nível dos modelos é 0,771 e o R² do ajuste linear é 0,655, ou seja, quem está bem na avaliação costuma estar bem também no uso real. Já a nota absoluta não pode ser usada diretamente como taxa de sucesso em produção, pois, dentro do mesmo resultado, a diferença chega a 37,4 pontos percentuais.
As ressalvas da OpenAI também são bem explícitas: o pareamento com a produção é apenas aproximado e cada modelo enfrentou um conjunto de casos distinto; a amostra de modelos é pequena, o que dificulta extrapolar a correlação; a medição de consciência só capta hipóteses que o modelo declara claramente; e o experimento de intervenção foi feito com um único modelo. As taxas de sucesso de cada modelo estão nos gráficos do texto, que não as lista uma a uma no corpo.
Todos esses dados vêm de modelos e logs da própria OpenAI, e por ora não há reprodução por terceiros. A equipe diz que continuará acompanhando essa diferença e projetará avaliações cujo objetivo seja difícil de adivinhar a partir do ambiente.
Fontes: CocoLoop, OpenAI Alignment Research Blog; todos os percentuais, coeficientes de correlação e resultados de intervenção seguem os dados divulgados pela OpenAI e não foram reproduzidos por terceiros.