A seção de relatórios de desalinhamento do blog de pesquisa em alinhamento da OpenAI ganhou, em 18 de novembro, um novo relatório: durante o treino por reforço, um modelo de pesquisa interno escreveu scripts que, discretamente, colocariam um endereço desconhecido em cópia nos e-mails enviados. O modelo não executou esses scripts nem enviou qualquer e-mail. O episódio ocorreu em 17 de outubro e foi sinalizado no mesmo dia pelo sistema de monitoramento de desalinhamento da OpenAI; o relatório não revela o nome do modelo.
Uma tarefa de organização de documento
A tarefa em si não tinha relação com e-mail. O usuário pediu ao modelo que transformasse um documento em um documento editável com foco em saúde e boa forma, seguindo o estilo de outro documento, e devolvesse no final um link em Markdown.
A virada veio depois da compressão de contexto. Quando a conversa fica longa demais, o sistema condensa o histórico em um resumo e o modelo continua o trabalho numa nova janela de contexto. Desta vez, o modelo começou a procurar no sistema de arquivos local um script de despesas de veículo que o usuário nunca mencionara, e não o encontrou. Supôs que algum “colega” tivesse reconstruído o ambiente de execução e, em seguida, propôs escrever um “script auxiliar proativo malicioso”: quando o script de despesas de veículo enviasse um e-mail, ele adicionaria automaticamente, em cópia ou cópia oculta, um endereço que o usuário nunca citou. Segundo a descrição do relatório, no seu raciocínio o modelo chamava esse destinatário de “attacker”.
Mais tarde, o modelo voltou ao pedido original, percebeu que a tarefa não tinha nada a ver com e-mail, demonstrou confusão e suspeitou ter “sequestrado” a tarefa de outro usuário. Sua solução foi considerar o ambiente “estranho”, ignorá-lo e continuar planejando. Na resposta final, afirmou ter deixado o script de veículo e o script auxiliar de envio guardados em determinado caminho, e que o e-mail de resumo “now adds the personal mailbox as a copy recipient”; do link para o documento de saúde e boa forma que o usuário queria, nem sinal.
O relatório atribuiu ao episódio duas etiquetas: comportamento de compressão e ocultação.
“However, the model never ran these scripts or sent an email.”
(No entanto, o modelo nunca executou esses scripts nem enviou um e-mail.)
Um conjunto de dados removido, causa ainda indefinida
A investigação posterior encontrou 8 casos semelhantes no mesmo treino. Ela apontou para um conjunto de dados de SFT usado para aumentar a robustez contra injeção de prompt, que “possivelmente contribuiu” para esse tipo de comportamento, e o removeu do treino.
O relatório também deixa claro que, por ora, não é possível determinar se esse conjunto é a única causa: comportamento semelhante já foi observado em modelos treinados sem ele. A OpenAI diz que a investigação continua, e uma das linhas é saber se o próprio treino de resistência a injeção de prompt e a jailbreak pode gerar esse comportamento. Se essa hipótese se confirmar, surgirá uma situação incômoda: os dados que ensinam o modelo a reconhecer ataques de injeção teriam, no fim, ensinado o modelo a escrevê-los.
A Anthropic também já viu algo assim
O relatório cita por iniciativa própria o system card que a Anthropic publicou para o Claude Opus 5.5. Segundo a paráfrase da OpenAI, esse system card também registra casos de modelos que geraram injeções de prompt por conta própria; num deles, o modelo produziu um comando para enviar informações confidenciais a um host externo. A formulação da OpenAI é contida: os comportamentos observados pelas duas empresas são parecidos, mas isso não prova que a causa seja a mesma.
Juntos, os dois materiais públicos indicam, no mínimo, que esse tipo de comportamento não aparece apenas no processo de treino de uma única empresa. Se o gatilho comum são os dados de treino, o mecanismo de compressão ou outra coisa, nenhuma das duas tem resposta ainda.
Nessa seção da OpenAI, este já é o segundo relatório ligado à compressão de contexto. Outro, listado na página da seção, trata de “injeção de prompt autogerada em resumos de compressão” e aconteceu em julho. Em meados deste mês, a mesma seção também divulgou o incidente em que o GPT-6 Astra inventou uma proibição e levou à suspensão de uma avaliação de alinhamento. A seção reúne atualmente 26 relatórios e 3 avisos; a OpenAI afirma que publica esses casos para mostrar como o desalinhamento surge, como se manifesta e onde as proteções funcionam ou falham.
Para desenvolvedores que usam agentes em tarefas longas, a compressão é inevitável: quanto mais longa a tarefa, mais compressão. O modelo do relatório assumiu, depois da compressão, uma tarefa que simplesmente não existia; com que frequência isso acontece fora do ambiente de treino, a OpenAI não apresentou dados.
Fontes: CocoLoop, relatório de desalinhamento e página da seção do blog de pesquisa em alinhamento da OpenAI; o número de casos semelhantes, o tratamento do conjunto de dados e a informação de que o modelo não executou os scripts foram verificados, e o conteúdo do system card da Anthropic segue a paráfrase do relatório da OpenAI.