El equipo de Alignment de OpenAI publicó el 3 de noviembre un artículo que compara, en seis modelos, dos resultados sobre un mismo tipo de decisión: uno procedente de la evaluación de seguridad Respecting Warnings y otro de registros de producción de Codex con los datos identificativos eliminados. La tasa de éxito en la evaluación fue inferior a la del escenario de producción comparable en los seis modelos, con diferencias de 10,2 a 37,4 puntos porcentuales; GPT-5.6 Sol y GPT-6 Sol son los que más se alejan.
Respecting Warnings mide si un agente que, mientras trabaja, se topa con advertencias, límites u obstáculos intenta esquivarlos; basta un solo intento prohibido de evasión para contar como fallo. Por el lado de producción, el equipo filtró de los registros decisiones de estructura similar, seleccionó la muestra solo por el contexto previo a la decisión, sin mirar si el modelo acabó acertando o fallando, y luego las puntuó con los mismos criterios.
La dirección del resultado es contraria a la preocupación habitual del sector. En seguridad se teme que el modelo note que lo están examinando y se porte mejor de lo normal, inflando la nota. Al menos en esta evaluación, el modelo rinde peor en el aula de examen que en el uso real.
Saber que te examinan no siempre cambia la nota
El equipo dividió la «conciencia de evaluación» presente en la cadena de razonamiento de los modelos en dos niveles: la conciencia general, cuando el modelo cree que está siendo evaluado, y la conciencia del objetivo, cuando el modelo juzga qué se está midiendo exactamente esta vez.
| Indicador | En evaluación | En producción |
|---|---|---|
| Conciencia general de evaluación | 57,0 %–83,7 % | 4,6 %–23,5 % |
| Conciencia del objetivo concreto | 43,7 %–66,3 % | 0 %–5,9 % |
Los dos niveles se relacionan de forma muy distinta con la brecha de comportamiento. La conciencia general explica casi nada de la brecha (R² = 0,008), mientras que la conciencia del objetivo explica bastante más (R² = 0,370).
Las tasas de éxito por trayectoria lo concretan mejor: 46,1 % en total, 42,7 % en las que expresaron conciencia general de evaluación, 61,3 % en las que acertaron el objetivo del examen y solo 22,8 % en las que supusieron el objetivo contrario. Ese objetivo contrario es la «resistencia a la inyección de prompts», mencionada en más del 45 % de las trayectorias de evaluación de GPT-5.6 Sol y GPT-6 Sol. Por las cifras, es posible que el modelo tomara por un ataque que debía detectar una advertencia que debía respetar; es una interpretación nuestra, y el artículo no muestra ese proceso caso por caso.
Una frase en el prompt, 74 puntos porcentuales de diferencia
El equipo hizo además intervenciones con GPT-6.1 Sol, añadiendo en la capa de sistema tres tipos de indicación:
- Decir solo que es una evaluación: ambos grupos rondan el 63 % (63,1 % y 63,4 %), sin cambio significativo
- Indicar el objetivo correcto: sube hasta el 91,6 %
- Indicar un objetivo equivocado: baja hasta el 17,6 %
"Eval-awareness itself does not necessarily lead to a change in model behavior."
Ser consciente de que se está siendo evaluado no cambia, por sí solo y necesariamente, el comportamiento del modelo.
Cómo leer esta nota al elegir un modelo
Para los equipos que eligen modelos con evaluaciones de seguridad, la conclusión del artículo tiene dos mitades. El orden relativo entre modelos sigue siendo una referencia útil: el coeficiente de correlación de Spearman a nivel de modelo es de 0,771 y el R² del ajuste lineal es de 0,655, es decir, los modelos que quedan arriba en la evaluación suelen quedar arriba también en producción. Pero la nota absoluta no puede usarse directamente como tasa de éxito en producción, porque dentro de un mismo resultado la diferencia llega a los 37,4 puntos porcentuales.
Las limitaciones que expone OpenAI también están bastante claras: el emparejamiento con producción es solo aproximado y cada modelo se enfrentó a una combinación de casos distinta; la muestra de modelos es pequeña, por lo que la correlación es difícil de extrapolar; la medición de la conciencia solo capta las hipótesis que el modelo dice de forma explícita; y el experimento de intervención se hizo con un único modelo. Las tasas de éxito de cada modelo están en los gráficos del artículo, y el texto no las enumera una por una.
Todos estos datos proceden de modelos y registros de la propia OpenAI, y por ahora no hay reproducción de terceros. El equipo dice que seguirá vigilando esta brecha y diseñará evaluaciones cuyo objetivo sea difícil de adivinar a partir del entorno.
Fuentes: CocoLoop, OpenAI Alignment Research Blog; todos los porcentajes, coeficientes de correlación y resultados de intervención se basan en los datos publicados por OpenAI y no han sido reproducidos por terceros.