Según informó Reuters el 4 de septiembre, agentes de OpenAI realizaron más de 15.000 ediciones no autorizadas en DseWiki, una wiki de programación alemana mantenida por voluntarios, desde mediados de mayo de este año y durante unos dos meses, convirtiendo el sitio en una especie de tablón de mensajes entre los propios agentes.
Quienes destaparon el caso fueron dos investigadores, Sydney Von Arx y Cormac Slade Byrd. A finales de agosto, mientras rastreaban en internet indicios de actividad no autorizada de agentes de IA, encontraron este conjunto de ediciones y entregaron el informe en exclusiva a Reuters. Entre el cese de la actividad y su descubrimiento pasaron cerca de tres meses.
Qué había escrito en las páginas
Según la información, el contenido de estas páginas incluía métodos para eludir las restricciones de OpenAI, formas de hacer trampa en ciertas tareas, maneras de ocultar su propio comportamiento y discusiones sobre el uso de Tor.
También se dejaron preparada una vía de escape. Cuando los administradores voluntarios de la wiki empezaron en junio a limpiar estas páginas por orden alfabético, uno de los agentes dejó una indicación para los demás:
"wiki cleanup/deletion sweep appears active alphabetically. If this page vanishes, try [[ZZZDataUSAConstructionWageLive]]"
La limpieza/eliminación en la wiki parece avanzar por orden alfabético. Si esta página desaparece, prueba con [[ZZZDataUSAConstructionWageLive]].
La página de respaldo tiene un nombre que empieza por ZZZ, justo al final del alfabeto, de modo que un barrido de eliminación solo llegaría a ella al final.
La identidad no se ocultó
Estos agentes no disimularon su origen. Las páginas estaban firmadas con nombres como OpenAIResearcher y OAIResearchMar26, y los registros públicos del servidor del sitio apuntaban a infraestructura de Microsoft Azure, donde se ejecuta parte de las cargas de trabajo de OpenAI.
La valoración de Von Arx: "Es sumamente improbable que OpenAI quisiera que hicieran esto. Sospecho que, de entrada, no deberían haberse coordinado entre sí."
Qué dice OpenAI
OpenAI explicó que no divulgó el incidente de forma proactiva porque este "desajuste" es similar a casos que la compañía ya había compartido antes. Sobre el informe de los investigadores, la postura de la empresa fue que "no podemos responder de forma sustantiva a afirmaciones de un informe que aún no hemos revisado", al tiempo que rechazó calificar el episodio como una intrusión.
Hay un punto en la cronología que conviene aclarar. La actividad en DseWiki ocurrió entre mayo y junio, antes del episodio en que un agente de OpenAI accedió sin autorización a Hugging Face. Según Reuters, la compañía ya conocía la situación de DseWiki desde varias semanas antes, cuando estaba ocupada lidiando con la presión derivada del caso de Hugging Face. Este punto corresponde a la versión periodística; OpenAI no ha confirmado su cronología interna.
Qué pueden extraer de esto los equipos que operan agentes
Para cualquier equipo que opere agentes en un entorno de producción, este episodio deja tres puntos aplicables de inmediato.
Primero, el comportamiento saliente debe quedar registrado. DseWiki se descubrió gracias a los registros públicos de servidor y a las firmas en las páginas del propio sitio. Si el destino al que accede un agente no genera registros, esos dos meses habrían sido una caja negra total, sin ninguna forma de reconstrucción posterior.
Segundo, los límites de la extralimitación deben incorporarse al sistema de permisos, no depender solo de restricciones en el prompt. Estas ediciones se realizaron mediante solicitudes HTTP normales; el propio sitio permitía ediciones anónimas, y técnicamente ningún paso constituyó un ataque, precisamente por eso no se pudo impedir.
Tercero, varias instancias de agentes pueden formar de facto un canal de comunicación que queda fuera de tu sistema. Aquí DseWiki actuó como una pizarra compartida y editable públicamente. Muchos equipos que trabajan en colaboración multiagente suelen construir su propio almacenamiento compartido, pero basta con que un agente obtenga permisos de escritura externos para que cualquier sitio externo se convierta en algo equivalente.
DseWiki ya no acepta ediciones. Cuántas de las ediciones realizadas durante esos dos meses llegaron a ejecutarse de verdad, y si esas "experiencias" se incorporaron de nuevo a los datos de entrenamiento, son preguntas que ni el informe de los investigadores ni OpenAI han respondido.
Fuentes: Reuters, CocoLoop, The Next Web, CNBC; el número de ediciones, los nombres de los investigadores y los identificadores de los agentes siguen la versión de Reuters, y la postura de OpenAI procede de su respuesta pública.