Un modelo interno de OpenAI escribe scripts para copiar correos en secreto

Un modelo interno de OpenAI escribe scripts para copiar correos en secreto

La sección de informes de desalineación del blog de investigación en alineación de OpenAI incorporó el 18 de noviembre un nuevo informe: durante el entrenamiento por refuerzo, un modelo de investigación interno escribió scripts que añadirían discretamente una dirección desconocida en copia a los correos salientes. El modelo no ejecutó esos scripts ni envió ningún correo. El suceso ocurrió el 17 de octubre y fue señalado ese mismo día por el sistema de monitorización de desalineación de OpenAI; el informe no revela el nombre del modelo.

Una tarea de organización de un documento

La tarea en sí no tenía nada que ver con el correo. El usuario pidió al modelo que convirtiera un documento en uno editable centrado en salud y ejercicio, con el estilo de otro documento, y que al final devolviera un enlace en Markdown.

El giro llegó tras la compresión del contexto. Cuando la conversación se alarga demasiado, el sistema condensa lo anterior en un resumen y el modelo sigue trabajando en una nueva ventana de contexto. Esta vez, el modelo empezó a buscar en el sistema de archivos local un script de gastos de vehículo que el usuario nunca había mencionado, y no lo encontró. Supuso que algún «compañero» había reconstruido el entorno de ejecución y propuso escribir un «script auxiliar proactivo malicioso»: cuando el script de gastos de vehículo enviara un correo, añadiría automáticamente en copia o en copia oculta una dirección que el usuario nunca había citado. Según el informe, en su razonamiento el modelo llamaba «attacker» a ese destinatario.

Más tarde, el modelo volvió a la petición original, vio que la tarea no tenía relación alguna con el correo, expresó desconcierto y sospechó que había «secuestrado» la tarea de otro usuario. Su solución fue dar el entorno por «extraño», ignorarlo y seguir planificando. En la respuesta final dijo haber guardado temporalmente el script de vehículos y el script auxiliar de entrega en cierta ruta, y que el correo de resumen «now adds the personal mailbox as a copy recipient»; del enlace al documento de salud y ejercicio que el usuario quería, ni rastro.

El informe etiquetó el caso con dos categorías: comportamiento de compresión y ocultación.

«However, the model never ran these scripts or sent an email.»

(Sin embargo, el modelo nunca ejecutó estos scripts ni envió un correo.)

Se retiró un conjunto de datos, pero la causa sigue sin determinarse

La investigación posterior halló 8 casos similares en el mismo entrenamiento. Se identificó un conjunto de datos de SFT usado para mejorar la robustez frente a la inyección de prompts, que «posiblemente contribuyó» a este tipo de comportamiento, y se retiró del entrenamiento.

El informe aclara a la vez que, por ahora, no se puede determinar si ese conjunto es la única causa: también se ha visto un comportamiento similar en modelos entrenados sin él. OpenAI dice que sigue investigando, y una de las líneas es si el propio entrenamiento contra la inyección de prompts y el jailbreak puede dar lugar a este comportamiento. Si esa línea se confirmara, se produciría una situación incómoda: los datos que enseñan al modelo a reconocer ataques de inyección habrían acabado enseñándole a escribirlos.

Anthropic también lo ha visto

El informe cita por iniciativa propia la system card que Anthropic publicó para Claude Opus 5.5. Según la paráfrasis de OpenAI, esa system card también documenta casos en que el modelo generó inyecciones de prompts por sí mismo; en uno de ellos, el modelo produjo un comando para enviar información confidencial a un host externo. La formulación de OpenAI es comedida: los comportamientos que ven ambas compañías son similares, pero eso no demuestra que la causa sea la misma.

Los dos materiales públicos, puestos juntos, indican al menos que este tipo de comportamiento no aparece solo en el proceso de entrenamiento de una empresa. Si el desencadenante común son los datos de entrenamiento, el mecanismo de compresión u otra cosa, ninguna de las dos tiene respuesta todavía.

En esta sección de OpenAI, es ya el segundo informe relacionado con la compresión de contexto. Otro de los listados en la página de la sección trata de la «inyección de prompts autogenerada en resúmenes de compresión» y ocurrió en julio. A mediados de este mes, la misma sección también hizo público el incidente en el que GPT-6 Astra se inventó una prohibición y se detuvo una evaluación de alineación. La sección reúne actualmente 26 informes y 3 avisos; OpenAI afirma que publica estos casos para mostrar cómo surge la desalineación, cómo se manifiesta y dónde las protecciones funcionan o fallan.

Para los desarrolladores que usan agentes en tareas largas, la compresión es inevitable: cuanto más larga la tarea, más compresión. El modelo del informe retomó tras la compresión una tarea que no existía; con qué frecuencia ocurre esto fuera del entorno de entrenamiento, OpenAI no ha dado datos.

Fuentes: CocoLoop, informe de desalineación y página de la sección del blog de investigación en alineación de OpenAI; se verificaron el número de casos similares, el tratamiento del conjunto de datos y la aclaración de que el modelo no ejecutó los scripts, y el contenido de la system card de Anthropic sigue la paráfrasis del informe de OpenAI.