Together AI signale le téléchargement d'échantillons de prompts

Le 21 novembre, Together AI a publié un avis de sécurité signé de son PDG et cofondateur, Vipul Ved Prakash. Selon ce texte, une partie des prompts envoyés en juin et juillet derniers à son service d'inférence serverless a été téléchargée par des personnes non autorisées. À l'origine, un identifiant d'accès : alors que l'entreprise utilisait un agent de codage IA pour développer un dépôt de code public, l'agent a poussé cet identifiant avec le reste du code.

Illustration: tweezers lift a red key from a row, echoing the search for keys in leaked prompt samples

Comment un seul identifiant a fuité

D'après l'avis, Together prélève habituellement une partie des requêtes des utilisateurs pour tester ses logiciels. Ces échantillons sont stockés dans un dépôt privé sur Hugging Face, et l'entreprise affirme que cet usage est autorisé. Les échantillons proviennent de requêtes adressées à MiniMax M3, GLM-5.2 et Kimi K2.6, surtout concentrées sur le 24 juin et les 4, 8 et 14 juillet.

La faille se situait ailleurs. Together possède sur GitHub un dépôt public nommé xorl. Pendant le développement, le code poussé par un agent de codage IA contenait l'identifiant donnant accès au dépôt privé en question. Une analyse automatique l'a repéré et Together a annulé cette soumission. Mais pendant la période où l'identifiant était exposé, quelqu'un l'avait déjà récupéré et avait téléchargé les échantillons de prompts stockés.

Cette personne a ensuite fait deux choses : fouiller les échantillons à la recherche d'identifiants d'autres services, puis les tester un à un pour voir s'ils fonctionnaient. Elle visait les clés, mots de passe et jetons que des utilisateurs avaient écrits dans leurs prompts.

Cinq identifiants leurres

L'avis contient un détail notable : parmi les identifiants testés, 5 étaient des identifiants « canari », relevant d'une expérience de la société de sécurité Dragos.

Cette expérience venait d'être relatée par Ars Technica. Le directeur de la recherche de Dragos, HD Moore, a glissé dans des prompts près de 2 millions de fausses clés et de faux liens porteurs de marqueurs de suivi, chacun envoyé à un seul fournisseur, puis a observé lesquels étaient touchés. Son résultat : les requêtes d'au moins trois hébergeurs d'inférence ont été copiées, et les fausses clés AWS ont été utilisées des dizaines de milliers de fois. L'e-mail d'alerte qu'OpenRouter a envoyé à ses utilisateurs à propos des modèles MiniMax citait lui aussi cette étude.

L'avis ne dit pas si Together est l'un des trois fournisseurs évoqués par Moore, et rien ne permet de le confirmer à partir des informations publiques. Un seul point concorde : les leurres de Moore figuraient dans les échantillons téléchargés chez Together et ont été testés.

We have no reason to believe the unauthorized party has leaked this data further.

En d'autres termes : nous n'avons aucune raison de croire que la partie non autorisée ait divulgué ces données plus loin.

Together ajoute qu'elle estime que ces données ont été supprimées. Qui a vérifié cette suppression, et comment, l'avis ne le précise pas.

Les chiffres qui manquent

L'avis donne des dates et des noms de modèles, mais pas l'ampleur. Le nombre de prompts touchés, le nombre de clients concernés, la durée pendant laquelle l'identifiant est resté dans le dépôt public et la date à laquelle la soumission a été annulée ne sont pas indiqués. Quant à savoir si les échantillons contiennent des informations personnelles sensibles, Together dit que l'examen est en cours, et les clients devant être prévenus seront contactés séparément. L'entreprise a fait appel à un cabinet d'analyse forensique externe et a saisi les forces de l'ordre.

Les mesures correctives sont au nombre de quatre :

  • passer les identifiants à une portée limitée ou à une validité courte, et se passer de clés partout où c'est possible ;
  • soumettre toutes les demandes de fusion à un contrôle des identifiants ;
  • activer par défaut la rétention zéro des données pour les nouveaux comptes ;
  • mettre à jour le processus de développement qui recourt à des agents de codage IA.

Les anciens comptes n'ont pas été basculés automatiquement. L'avis recommande simplement aux clients qui traitent des données sensibles d'activer l'option eux-mêmes dans les paramètres.

À mettre en regard de l'e-mail d'OpenRouter

En quelques jours, deux fournisseurs d'inférence ont dû s'expliquer auprès de leurs utilisateurs à propos de la même étude, et leur façon de traiter l'affaire diffère nettement.

OpenRouter n'a écrit qu'à une partie des utilisateurs, sans page publique, a renvoyé la responsabilité vers MiniMax, en amont, et vers les fournisseurs qui relaient les requêtes, et a retiré l'étiquette de rétention zéro des endpoints concernés. Together a publié un billet de blog public signé de son PDG, reconnu que le problème venait de son propre processus de développement et modifié le paramétrage par défaut des nouveaux comptes.

La nature des deux affaires diffère aussi. Dans le cas d'OpenRouter, un lien placé dans un prompt a été consulté plusieurs dizaines d'heures après l'envoi de la requête, et l'identité de la personne qui l'a ouvert reste inconnue à ce jour. Dans le cas de Together, il y a un point d'entrée clair : un identifiant qu'un agent a écrit dans un dépôt public, plus un téléchargeur qui cherchait précisément des clés.

Les trois modèles correspondant aux échantillons téléchargés viennent tous d'entreprises chinoises. Les équipes chinoises qui conçoivent des produits pour l'étranger appellent souvent des modèles chinois via des hébergeurs étrangers comme Together. Ceux qui ont utilisé ces trois modèles en juin et juillet et ont inséré dans leurs prompts des chaînes de connexion de base de données ou des jetons d'API feraient bien de changer d'abord leurs identifiants, sans attendre la notification individuelle de Together.

Il y a enfin la question de l'agent de codage lui-même. Pousser des clés dans un dépôt public est une erreur que commettent aussi les ingénieurs humains, et l'outil d'analyse l'a bien détectée cette fois. La durée de la période précédant la détection, Together ne l'a pas publiée ; quant à savoir quel agent de codage était en cause, l'avis ne le nomme pas non plus.

Sources : avis de sécurité officiel de Together AI, CocoLoop, Ars Technica ; l'avis de Together confirme les modèles touchés, les quatre jours de concentration des échantillons et les quatre mesures correctives, et Ars Technica confirme l'ampleur des leurres de l'expérience de Dragos et le nombre d'hébergeurs compromis.