Together AI informa de la descarga de muestras de prompts

Together AI publicó el 21 de noviembre un aviso de seguridad firmado por su CEO y cofundador, Vipul Ved Prakash. Según el texto, una parte de los prompts enviados en junio y julio de este año a su servicio de inferencia serverless fue descargada por personas no autorizadas. El origen fue una credencial de acceso: cuando la empresa usaba un agente de programación con IA para desarrollar un repositorio de código público, el agente subió esa credencial junto con el código.

Illustration: tweezers lift a red key from a row, echoing the search for keys in leaked prompt samples

Cómo se escapó una sola credencial

Según el aviso, Together suele extraer una parte de las solicitudes de los usuarios para pruebas de software. Estas muestras se guardan en un repositorio privado de Hugging Face, y la empresa asegura que ese uso está autorizado. Las muestras proceden de solicitudes enviadas a MiniMax M3, GLM-5.2 y Kimi K2.6, concentradas sobre todo el 24 de junio y el 4, 8 y 14 de julio.

El fallo ocurrió en otro punto. Together tiene en GitHub un repositorio público llamado xorl. Durante el desarrollo, el código que subió un agente de programación con IA incluía la credencial que daba acceso al repositorio privado. Un escaneo automático la detectó y Together retiró esa subida. Pero en la ventana en que la credencial estuvo expuesta, alguien ya la había obtenido y había descargado las muestras de prompts almacenadas.

Esa persona hizo después dos cosas: buscó en las muestras credenciales de otros servicios y las probó una por una para ver si funcionaban. Lo que buscaba eran las claves, contraseñas y tokens que los usuarios habían escrito en sus prompts.

Cinco credenciales señuelo

El aviso incluye un detalle llamativo: entre las credenciales probadas había 5 credenciales «canario», parte de un experimento de la firma de seguridad Dragos.

Ars Technica acababa de informar sobre este experimento. El director de investigación de Dragos, HD Moore, introdujo en prompts casi 2 millones de claves y enlaces falsos con marcas de rastreo, cada uno enviado a un único proveedor, y luego observó cuáles se tocaban. Su resultado: se copiaron solicitudes de al menos tres proveedores de alojamiento de inferencia, y las claves AWS señuelo se usaron decenas de miles de veces. El correo de aviso que OpenRouter envió a sus usuarios sobre los modelos de MiniMax también citaba esta investigación.

El aviso no dice si Together es uno de los tres proveedores a los que se refiere Moore, y por ahora no puede confirmarse con información pública. Solo coincide un punto: los señuelos de Moore aparecieron en las muestras descargadas de Together y fueron probados.

We have no reason to believe the unauthorized party has leaked this data further.

En otras palabras: no tenemos motivos para creer que la parte no autorizada haya filtrado estos datos más allá.

Together añade que cree que los datos han sido eliminados. Quién verificó la eliminación y cómo, el aviso no lo explica.

Las cifras que faltan

El aviso ofrece fechas y nombres de modelos, pero no la escala. No indica cuántos prompts están afectados, cuántos clientes están implicados, cuánto tiempo estuvo la credencial en el repositorio público ni qué día se retiró la subida. En cuanto a si las muestras contienen información personal sensible, Together dice que sigue revisándolo, y los clientes que deban ser notificados serán contactados por separado. La empresa ha recurrido a una firma forense externa y ha informado a las fuerzas del orden.

La lista de medidas correctivas tiene cuatro puntos:

  • pasar las credenciales a un alcance limitado o a una validez corta, y prescindir de claves donde sea posible;
  • someter todas las solicitudes de fusión a una revisión de credenciales;
  • activar por defecto la retención cero de datos en las cuentas nuevas;
  • actualizar el flujo de desarrollo que utiliza agentes de programación con IA.

Las cuentas antiguas no se cambiaron automáticamente. El aviso solo recomienda que los clientes que manejan datos sensibles lo activen por su cuenta en los ajustes.

Junto al correo de OpenRouter

En pocos días, dos proveedores de inferencia han tenido que dar explicaciones a sus usuarios por la misma investigación, y la forma de gestionarlo difiere bastante.

OpenRouter solo escribió a una parte de los usuarios, sin página pública, atribuyó la responsabilidad a MiniMax, aguas arriba, y a los proveedores que reenvían las solicitudes, y retiró la etiqueta de retención cero de los endpoints implicados. Together publicó una entrada de blog pública firmada por su CEO, admitió que el problema estaba en su propio proceso de desarrollo y cambió la configuración predeterminada de las cuentas nuevas.

La naturaleza de ambos casos también es distinta. En el caso de OpenRouter, un enlace dentro de un prompt fue visitado decenas de horas después de enviarse la solicitud, y la identidad de quien lo visitó sigue siendo desconocida. En el caso de Together hay una vía de entrada clara: una credencial que un agente escribió en un repositorio público, más alguien que descargaba datos para buscar específicamente claves.

Los tres modelos a los que corresponden las muestras descargadas son de empresas chinas. Los equipos chinos que crean productos para el exterior suelen llamar a modelos chinos a través de proveedores de alojamiento extranjeros como Together. Quien usara estos tres modelos en junio y julio y hubiera incluido en sus prompts cadenas de conexión de bases de datos o tokens de API haría bien en cambiar primero las credenciales, sin esperar al aviso individual de Together.

Hay también la capa del propio agente de programación. Subir claves a un repositorio público es un error que cometen a menudo incluso los ingenieros humanos, y la herramienta de escaneo, en efecto, lo detectó esta vez. Cuánto duró la ventana antes de la detección, Together no lo ha hecho público; qué agente de programación fue exactamente, el aviso tampoco lo nombra.

Fuentes: aviso oficial de seguridad de Together AI, CocoLoop, Ars Technica; el aviso de Together verifica los modelos afectados, los cuatro días de concentración de muestras y las cuatro medidas correctivas, y Ars Technica verifica la escala de los señuelos del experimento de Dragos y el número de proveedores de alojamiento comprometidos.