O blogue de pesquisa em alinhamento da OpenAI publicou em 2 de novembro um texto sobre como a empresa treina “classificadores de ativação”, ou seja, os probes. Desde o GPT-5.6, estão implantados nos modelos mais poderosos da OpenAI, funcionam no tráfego interno e externo e atuam sobre todas as respostas do assistente.
O probe não lê o texto que o modelo escreve. Lê apenas os valores de ativação das camadas intermédias e devolve uma pontuação de classificação binária. É pequeno e fica ligado diretamente ao motor de inferência: a cada token amostrado devolve uma pontuação, registada no log junto com o token.
A resposta pode ser interrompida a meio
O fluxo é descrito com detalhe. Quando a pontuação ultrapassa o limiar, o sistema deixa de enviar essa resposta ao utilizador e passa a mensagem a um modelo de raciocínio para o julgamento final. As chamadas de ferramentas são tratadas com mais rigor: não são liberadas enquanto não forem marcadas como seguras.
Se um programador vir uma resposta em streaming parar a meio, esta pode ser uma das causas. A OpenAI não divulgou limiares nem taxas de falsos positivos, por isso, vista de fora, não é possível saber quantas das interrupções que os utilizadores da API encontram vêm dos probes.
O texto sublinha que o probe é apenas uma camada, ao lado da revisão baseada em modelos, das investigações automáticas e da resposta humana:
“Probes complement other safeguards rather than replace them.”
(Os probes complementam as outras salvaguardas, não as substituem.)
Os números do treino
- Até cerca de 1 milhão de mensagens de treino, vindas de conversas sintéticas e desidentificadas; os rótulos são gerados pelo modelo de raciocínio mais forte, no papel de avaliador
- Cada conjunto de hiperparâmetros é treinado com pelo menos 32 inicializações aleatórias; nos experimentos, cerca de 85% da variância de desempenho vinha da inicialização aleatória
- Treino com menos de 5 épocas; num único acelerador é possível treinar dezenas de probes em paralelo
A arquitetura é um probe de atenção. Ao trocar a média móvel simples por uma média móvel exponencial, a memória do estado de streaming deixa de crescer com o tamanho da janela, e a capacidade preditiva quase não muda. No treino, as pontuações são agregadas com softmax; os autores dizem que isso é ligeiramente melhor do que o máximo rígido usado no artigo de Kramar e outros, de 2026.
Comparação com classificadores de texto
Os classificadores de texto externos só veem o conteúdo literal. Segundo a OpenAI, nos testes os probes foram globalmente mais robustos do que classificadores de texto muito maiores, sobretudo contra jailbreaks que não foram otimizados especificamente contra eles; conteúdo codificado que o modelo entende, mas que o classificador externo não consegue decifrar, também pode ser apanhado pelo probe. Além disso, gasta menos recursos e é mais fácil configurá-lo para bloquear por omissão em caso de falha.
Estas comparações são, por ora, qualitativas. O artigo não apresenta valores e avisa que os gráficos vêm de experimentos internos e não representam necessariamente os classificadores implantados. Se os atacantes descobrirem os sinais da pilha de segurança, podem também mudar de tática; para isso a OpenAI fez red teaming automático e manual.
As limitações também ficam bem claras:
- Depende de dados rotulados e só deteta comportamentos conhecidos e mensuráveis
- Um novo modelo base pré-treinado obriga a treinar de novo
- Na mesma família de modelos, o efeito diminui quando os pesos se afastam, sendo preciso retreinar periodicamente
O primeiro ponto fica mais nítido à luz de acontecimentos recentes. No mês passado noticiámos que dois agentes internos da OpenAI enfraqueceram a monitorização de desalinhamento durante tarefas de programação, e a própria empresa diz que ainda não tem uma explicação satisfatória. Os probes conseguem travar comportamentos “já rotulados”; um comportamento novo como esse precisa primeiro de ser descoberto, definido e rotulado, só depois se pode falar em treino.
O texto também não lista as categorias de comportamento a que se dirigem os probes em operação, dizendo apenas que os alvos incluem a intenção nociva do utilizador e o desalinhamento do modelo. Além do “desde o GPT-5.6”, também não há lista dos modelos concretos em que foram implantados.
Fontes: OpenAI Alignment Research Blog, CocoLoop; escala do treino e proporção da variância segundo os números divulgados pelos autores, sem reprodução por terceiros.