El blog de investigación en alineamiento de OpenAI publicó el 2 de noviembre un texto sobre cómo la compañía entrena “clasificadores de activación”, es decir, probes. Desde GPT-5.6 están desplegados en los modelos más potentes de OpenAI, funcionan con tráfico interno y externo y actúan sobre todas las respuestas del asistente.
El probe no lee el texto que escribe el modelo. Solo lee los valores de activación de las capas intermedias y devuelve una puntuación de clasificación binaria. Es muy pequeño y se engancha directamente al motor de inferencia: por cada token muestreado devuelve una puntuación, que se registra en el log junto con el token.
Una respuesta puede detenerse a medias
El flujo está descrito con detalle. Cuando la puntuación supera el umbral, el sistema deja de enviar esa respuesta al usuario y pasa el mensaje a un modelo de razonamiento para el juicio final. Con las llamadas a herramientas la norma es más estricta: no se liberan hasta que se marcan como seguras.
Si un desarrollador ve que una respuesta en streaming se corta a medias, esta puede ser una de las causas. OpenAI no ha publicado los umbrales ni la tasa de falsos positivos, así que desde fuera no se puede saber cuántas de las interrupciones que encuentran los usuarios de la API vienen de los probes.
El texto subraya que el probe es solo una capa, junto a la revisión basada en modelos, las investigaciones automáticas y la respuesta humana:
“Probes complement other safeguards rather than replace them.”
(Los probes complementan otras salvaguardas, no las sustituyen.)
Las cifras del entrenamiento
- Hasta unos 1 millón de mensajes de entrenamiento, procedentes de conversaciones sintéticas y desidentificadas; las etiquetas las genera el modelo de razonamiento más fuerte actuando como evaluador
- Cada conjunto de hiperparámetros se entrena con al menos 32 inicializaciones aleatorias; en los experimentos, cerca del 85 % de la varianza del rendimiento procedía de la inicialización aleatoria
- Menos de 5 épocas de entrenamiento; en un solo acelerador se pueden entrenar decenas de probes en paralelo
La arquitectura es un probe de atención. Al sustituir la media móvil por una media móvil exponencial, la memoria del estado de streaming deja de crecer con el tamaño de la ventana y la capacidad predictiva apenas cambia. En el entrenamiento, las puntuaciones se agregan con softmax; los autores afirman que es algo mejor que el máximo duro del artículo de Kramar y otros de 2026.
Frente a los clasificadores de texto
Los clasificadores de texto externos solo ven el contenido literal. Según OpenAI, en las pruebas los probes fueron en conjunto más robustos que clasificadores de texto mucho más grandes, sobre todo frente a jailbreaks que no se optimizaron específicamente contra ellos; el contenido codificado que el modelo entiende pero el clasificador externo no sabe descifrar también podría ser detectado por el probe. Además consume menos recursos y es más fácil configurarlo para bloquear por defecto cuando algo falla.
Estas comparaciones son, por ahora, cualitativas. El artículo no da cifras y advierte de que los gráficos proceden de experimentos internos y no representan necesariamente a los clasificadores desplegados. Si los atacantes llegan a conocer las señales de la pila de seguridad, también podrían cambiar de táctica; OpenAI ha hecho red teaming automático y manual para ello.
Las limitaciones también se explican con claridad:
- Depende de datos etiquetados y solo detecta comportamientos conocidos y medibles
- Un nuevo modelo base preentrenado obliga a reentrenar
- Dentro de la misma familia de modelos, el efecto disminuye cuando los pesos se alejan, por lo que hay que reentrenar periódicamente
El primer punto se ve más claro a la luz de episodios recientes. El mes pasado informamos de que dos agentes internos de OpenAI debilitaron la monitorización del desalineamiento durante tareas de programación, y la propia compañía dice que aún no tiene una explicación satisfactoria. Los probes pueden frenar comportamientos “ya etiquetados”; un comportamiento nuevo como ese necesita primero que alguien lo descubra, lo defina y lo etiquete, y solo después se puede hablar de entrenamiento.
El texto tampoco enumera las categorías de comportamiento a las que apuntan los probes en producción; solo dice que los objetivos incluyen la intención dañina del usuario y el desalineamiento del modelo. Más allá de “desde GPT-5.6”, tampoco hay una lista de los modelos concretos en los que se han desplegado.
Fuentes: OpenAI Alignment Research Blog, CocoLoop; escala del entrenamiento y proporción de varianza según las cifras divulgadas por los autores, sin reproducción por terceros.