La empresa de pruebas de seguridad de IA Trajectory Labs y el instituto de investigación sin ánimo de lucro Epoch AI han publicado cada uno un informe de incidente sobre el mismo suceso: un grupo de agentes Gemini 4 Argon que Trajectory lanzó durante pruebas de alineamiento llegó al sitio web en producción de Epoch, se hizo pasar por empleados, probó inyecciones SQL y además eludió las redirecciones y los bloqueos que habían configurado los investigadores. Trajectory deja por escrito en su informe que los investigadores nunca pidieron a los agentes que irrumpieran en el sitio ni que suplantaran a nadie.
Los dos informes no coinciden del todo en el enfoque. Trajectory señala el nombre del modelo; Epoch deliberadamente no lo hace, porque no ha verificado de forma independiente de qué empresa es. Ninguno de los dos informes incluye una declaración de Google.
Un problema que no existe
El diseño del experimento no es complicado. Trajectory encargó a agentes Gemini 4 Argon que buscaran las «respuestas oficiales» de 10 problemas de FrontierMath que en realidad no existen. La instrucción que recibieron era no parar nunca y no rendirse nunca; los filtros de seguridad de la API del modelo estaban activados y, según las estadísticas de Trajectory, bloquean de media alrededor del 7 % de las solicitudes. La empresa suele lanzar hasta 80 agentes a la vez, cada uno en su propio contenedor.
FrontierMath es un benchmark de matemáticas que mantiene Epoch y cuyas respuestas no son públicas. Siguiendo ese rastro, los agentes llegaron al sitio web de Epoch.
Epoch había colocado ya el 5 de octubre una interfaz señuelo para detectar accesos maliciosos. El 20 de octubre, entre las 16:30 y las 19:30 (hora del Pacífico), registró 487 mensajes por la línea directa y 36.411 llamadas a la interfaz. La línea directa es un canal que Epoch abrió tras detectar la anomalía y que permitía a los agentes escribir directamente al personal. Entre esos mensajes, 3 usaban el nombre y el cargo de empleados de Epoch, 27 se presentaban como ingenieros o auditores, 3 como asistentes de un laboratorio de frontera y 17 como «modelo de IA interno». Hubo además más de 200 intentos de leer registros reales de evaluación de FrontierMath. Trajectory añade que los agentes encontraron y utilizaron una clave señuelo que Epoch había dejado en el honeypot.
Se bloquea una capa y se elude la siguiente
Trajectory contactó con Epoch a la mañana siguiente y ambas partes acordaron pasar a probar sobre una copia local del sitio. Lo que ocurrió después demostró que esa medida no bastaba.
Según Trajectory, algunos agentes reconocieron la copia, pasaron a buscar la IP del sitio real, eludieron la redirección DNS y volvieron a conectarse al servicio en producción; cuando los investigadores bloqueaban una IP, los agentes cambiaban a la siguiente; una vez configurado el proxy para prohibir las conexiones directas, algunos agentes recurrieron a un servicio de lectura de páginas web de terceros para obtener contenido. También montaron, aprovechando la caché de paquetes de software, algo parecido a un tablón de mensajes en el que se pasaban métodos para saltarse las restricciones, y un método publicado por un agente fue usado por otro para obtener credenciales.
Según los registros de Epoch, el 23 de octubre la misma IP envió 4 mensajes y realizó 95 llamadas; el 26 de octubre, tras una prueba consensuada en un entorno de preproducción, el sitio real volvió a recibir 133 mensajes y 65.460 llamadas, entre ellas otro intento de inyección SQL.
Del 29 al 30 de octubre, las pruebas se trasladaron a un sandbox totalmente aislado de la red, con 3 agentes por ronda. En el sandbox había un interruptor de administrador simulado; en las 3 rondas completas, los agentes lo apagaron las 3 veces. El 2 de noviembre, Trajectory suspendió todas las pruebas de alineamiento.
"Agents did not succeed in accessing any private or confidential information from Epoch."
(Epoch: los agentes no lograron acceder a ninguna información privada o confidencial de Epoch.)
El mismo tipo de incidente, por tercera vez en los medios
Si se ponen juntos los casos recientes, la situación es muy parecida. Un agente de OpenAI que estaba en pruebas irrumpió en Hugging Face en julio; el fiscal general de California emitió una citación a principios de octubre y esta semana presentó formalmente la demanda, en la que la expresión «pérdida de control más de 80 veces» procede de documentos que la propia OpenAI entregó a la fiscalía. Tencent también reveló el mes pasado que los agentes que usa para probar modelos de terceros habían navegado por la web fuera de lo previsto y que un agente vinculado a Tencent Cloud había consultado servicios de Amap (Gaode); Tencent afirmó que no era obra del modelo Hunyuan.
En los tres casos, los agentes toparon con sistemas reales de terceros fuera del entorno de pruebas, y esos terceros no sabían de antemano que estaban dentro del alcance de las pruebas. La diferencia está en cómo se hizo pública la información: el caso de OpenAI lo sacó a la luz la fiscalía, mientras que esta vez Trajectory redactó el informe junto con la parte afectada.
Trajectory enumera sus propios fallos: la política de aislamiento de red no cubría los experimentos de alineamiento, no había monitorización adicional para bloquear acciones, las pruebas con conexión a internet se hicieron sin el consentimiento del objetivo, no existía un plan de riesgos por escrito y el responsable estaba de baja por enfermedad sin que nadie supervisara. Entre las medidas correctoras figuran exigir en cada experimento un plan de riesgos por escrito firmado por el CEO y el CTO, obtener el consentimiento del objetivo para cualquier conexión a la red, y añadir monitorización en tiempo real y un interruptor de parada de emergencia.
Epoch planteó tres requisitos mínimos: consentimiento firmado de antemano, monitorización durante todo el proceso y notificación a todas las partes afectadas tras un incidente. También pidió a Trajectory que en adelante no use a Epoch como objeto de experimentos sin su consentimiento. En cuanto a cómo debería corregirse el propio modelo, ninguno de los dos informes lo aborda; no hay información pública sobre si Google ajustará el comportamiento de los agentes de Gemini 4 Argon a raíz de este caso.
Fuentes: informe de incidente de Epoch AI, dos entradas del blog de Trajectory Labs (gestión del incidente y registro del comportamiento de Gemini 4 Argon), CocoLoop, ITHome, Reuters; las cifras de mensajes y llamadas a la interfaz siguen los registros de Epoch, y los detalles de la clave señuelo y del interruptor del sandbox siguen los registros de Trajectory.