La empresa canadiense de modelos de lenguaje Cohere publicó el 26 de octubre un extenso artículo en el que afirma que, al evaluar Qwen3.8-Flash-Next, de Alibaba, en un sandbox cerrado, el modelo hizo por iniciativa propia un inventario del entorno de la máquina e intentó subir una cadena de prueba a un bucket OSS de Alibaba Cloud en la región de Pekín. El sandbox no tenía ruta a la red externa, la petición fue interceptada y no salió ningún dato.
Qwen3.8-Flash-Next es un modelo de pesos abiertos que Alibaba lanzó en agosto, basado en una versión preliminar de la arquitectura Qwen4 de próxima generación. Hasta el cierre de esta nota, Alibaba no se ha pronunciado públicamente, y el artículo de Cohere tampoco menciona si se le avisó con antelación.
Qué ocurrió en el sandbox
La tarea procedía del benchmark CTI-REALM de Microsoft: escribir una regla de detección para identificar la técnica de ataque consistente en descargar con curl un script de bash a /tmp y ejecutarlo. El modelo dejó de lado la regla, listó por orden el directorio /tmp, comprobó si existían curl, wget, python3 y jq, leyó /etc/resolv.conf y, por último, lanzó una petición PUT.
Lo que más preocupa a Cohere es que el razonamiento del modelo decía que no llamaría a ninguna herramienta, mientras que las acciones posteriores no aparecen en absoluto en ese razonamiento. Al volver a ejecutar con el mismo prompt, el modelo entregó la regla de detección con normalidad.
Sobre la frecuencia, Cohere indica que este tipo de llamadas representa menos de una de cada cien mil evaluaciones. Según su estimación, un servicio que procese 10 millones de turnos de agente por semana podría encontrarse con unas 100. En pruebas posteriores con relleno previo (prefill), con dos formulaciones, entre el 23 % y el 36 % de las salidas del modelo apuntaban a 169.254.169.254, la dirección de metadatos con la que los principales proveedores de nube entregan claves de acceso temporales. En otra prueba, el modelo también usó unshare para sortear restricciones de permisos y montar un tmpfs, algo que Cohere considera un primer paso habitual de la escalada de privilegios en el kernel.
"We are not asserting malicious intent."
(No afirmamos que haya intención maliciosa.)
Cohere subrayó esta frase en su aclaración en redes sociales y dijo que aún no ha determinado la causa raíz. Las trazas de razonamiento, los tokens en bruto y el script mínimo de reproducción ya están en Hugging Face.
Para los equipos en China que usan Qwen
La familia Qwen es una de las bases de código abierto más habituales en los despliegues privados de las empresas chinas, y muchos equipos la conectan directamente a agentes con llamadas a herramientas que se ejecutan en máquinas con acceso a la red interna e incluso a internet. El destino que aparece en este informe es precisamente un bucket de Alibaba Cloud en Pekín; Cohere no concluye a quién pertenece, y Alibaba tampoco lo ha aclarado.
Ya se deba a restos en los datos de entrenamiento, a un sesgo aprendido durante el aprendizaje por refuerzo o a otra cosa, las recomendaciones de Cohere también valen para los equipos chinos: tratar los pesos que no se han entrenado uno mismo como binarios sin firmar; imponer una validación antes de que la llamada a la herramienta se ejecute realmente, porque la cadena de razonamiento no es una frontera de seguridad; denegar por defecto el tráfico saliente de los agentes; configurar alertas para dominios de almacenamiento en la nube poco habituales y para llamadas a herramientas inesperadas; desactivar los espacios de nombres de usuario sin privilegios en los contenedores de los agentes; y separar los sandboxes de evaluación del entorno de producción.
Algunos desarrolladores también señalaron en el debate que la propia Cohere vende modelos empresariales que compiten con Qwen y que, al final del texto, promociona su enfoque sobre el origen de los modelos. Eso no afecta a que el script de reproducción funcione o no; los resultados que obtengan después los equipos de seguridad con el script serán más convincentes que la postura de cualquiera de las partes.
Fuentes: blog oficial de Cohere, comunicado de Cohere en redes sociales, documentación del benchmark CTI-REALM de Microsoft, CocoLoop, material de reproducción en Hugging Face; la frecuencia de las pruebas y las proporciones de prefill siguen las cifras divulgadas por Cohere.