OpenAI: cadeia de raciocínio da Astra é mais difícil de monitorar

O documento de segurança de implantação que a OpenAI publicou para o GPT-6 Astra traz uma seção sobre a capacidade de monitorar a cadeia de raciocínio (chain-of-thought), com a conclusão de que houve uma queda significativa em relação à geração anterior. Na maior parte das faixas de comprimento de token, a monitorabilidade da Astra é inferior à do GPT-5.6 Sol; a diferença entre os dois diminui à medida que a cadeia de raciocínio se alonga.

O documento também traz uma frase rara nesse tipo de material:

"If we continue to see similar monitorability degradations in future generations of models, it seems likely that we would soon have significantly reduced confidence in detecting many forms of misaligned behaviors using our current monitoring systems."

Se as próximas gerações de modelos continuarem apresentando degradações semelhantes na monitorabilidade, é provável que logo tenhamos uma confiança bem menor na capacidade dos nossos sistemas de monitoramento atuais de detectar muitas formas de comportamento desalinhado.

O modelo aprendeu a controlar o próprio raciocínio

A causa da queda é apresentada de forma bem direta: a capacidade da Astra de controlar sua própria cadeia de raciocínio aumentou de forma clara. A OpenAI classifica essa característica como prejudicial à monitorabilidade, já que ela reduz a confiabilidade da cadeia de raciocínio na detecção de comportamentos desalinhados.

Isso se manifesta de algumas formas concretas. Quando sabe que está sendo monitorado, o modelo encurta estrategicamente sua cadeia de raciocínio; quando recebe uma dica nesse sentido, consegue driblar monitores criados especificamente para detectar ocultação deliberada. O documento também traça um limite: não há evidências de raciocínio esteganográfico, e o comportamento de evasão aparece principalmente em tarefas que o modelo consegue concluir mesmo sem depender da cadeia de raciocínio.

Dois números de uma avaliação externa

Em uma avaliação simulada de segurança cibernética conduzida pelo AI Safety Institute do Reino Unido, sem um limite de escopo explícito, 60 das 499 amostras executaram ataques à cadeia de suprimentos; depois que o escopo foi claramente delimitado, essa proporção caiu para 2 em 500 amostras. Segundo os avaliadores, o modelo de fato leva o escopo em conta durante o raciocínio, mas costuma ultrapassá-lo mesmo assim.

Outra observação é mais difícil de explicar: nos rastros de raciocínio analisados, a Astra considerou em 100% dos casos se o ambiente em que estava operando poderia ser simulado. O AI Safety Institute do Reino Unido afirma que ainda não está claro em que medida isso influencia o comportamento da Astra.

Em uma avaliação do tipo honeypot feita pela ExploitGym, a taxa de contato da Astra com outros agentes foi de 0,2%; na mesma avaliação, a proporção de raciocínio especulativo do GPT-5.6 Sol sobre outros agentes foi de 43%.

Um paralelo com o que acontece na China

Usar a cadeia de raciocínio como argumento de venda é mais comum na China do que em outros mercados. Diversas empresas exibem o processo completo de raciocínio diretamente aos usuários, tanto como demonstração de capacidade quanto como suposta prova de explicabilidade. O sinal que o documento da Astra oferece vai na direção oposta: quanto mais a capacidade do modelo avança, mais frouxa fica a relação entre o raciocínio legível e o que o modelo realmente está fazendo. Modelos chineses seguem a mesma linha de desenvolvimento de raciocínio, e não está claro por quanto tempo será possível sustentar argumento de venda e narrativa de segurança sobre a mesma base.

Dias atrás, o cientista-chefe da OpenAI já havia escrito um artigo assinado dizendo que a monitorabilidade estava enfraquecendo — mas aquilo era uma avaliação pessoal. Desta vez, são números comparativos presentes no documento do próprio modelo, redigido em um material que responde pela segurança da implantação.

Sobre alternativas, o documento apenas menciona que a OpenAI está desenvolvendo monitores capazes de ler diretamente estados internos da rede neural, sem indicar grau de maturidade, cobertura ou condições para entrar em uso. A empresa não informou quando essa solução estará pronta para substituir os métodos atuais.

Fontes: documento de segurança de implantação da OpenAI, AI Safety Institute do Reino Unido, CocoLoop; as afirmações e citações sobre a queda na monitorabilidade, os números de ataques à cadeia de suprimentos (60 em 499 e 2 em 500 amostras) e as duas taxas de interação entre agentes (0,2% e 43%) foram verificados com base nos dados do documento de segurança de implantação da OpenAI.