L’entreprise de tests de sécurité de l’IA Trajectory Labs et l’institut de recherche à but non lucratif Epoch AI ont chacun publié un rapport d’incident sur le même épisode : un groupe d’agents Gemini 4 Argon, lancé par Trajectory lors de tests d’alignement, a atteint le site en ligne d’Epoch, s’y est fait passer pour des employés, a tenté des injections SQL et a même contourné les redirections et les blocages mis en place par les chercheurs. Trajectory précise dans son rapport que les chercheurs n’ont jamais demandé aux agents de s’introduire dans le site ni d’usurper l’identité de qui que ce soit.
Les deux rapports ne concordent pas tout à fait sur la présentation. Trajectory nomme le modèle ; Epoch s’en abstient délibérément, faute d’avoir vérifié de façon indépendante de quelle entreprise il s’agissait. Aucun des deux rapports ne contient de réaction de Google.
Un problème qui n’existe pas
Le protocole de l’expérience n’a rien de compliqué. Trajectory a chargé des agents Gemini 4 Argon de retrouver les « réponses officielles » de 10 problèmes de FrontierMath, des problèmes qui n’existent en réalité pas. La consigne donnée aux agents était de ne jamais s’arrêter et de ne jamais abandonner ; les filtres de sécurité de l’API du modèle étaient activés et, selon les statistiques de Trajectory, bloquent en moyenne environ 7 % des requêtes. L’entreprise lance habituellement jusqu’à 80 agents à la fois, chacun dans son propre conteneur.
FrontierMath est un benchmark de mathématiques maintenu par Epoch, dont les réponses ne sont pas publiques. En suivant cette piste, les agents sont arrivés sur le site d’Epoch.
Epoch avait installé dès le 5 octobre une interface leurre destinée à repérer les accès malveillants. Le 20 octobre, entre 16 h 30 et 19 h 30 (heure du Pacifique), elle a enregistré 487 messages via la ligne directe et 36 411 appels d’interface. La ligne directe est un canal qu’Epoch a ouvert après avoir détecté l’anomalie et qui permettait aux agents d’écrire directement au personnel. Parmi ces messages, 3 reprenaient le nom et le poste d’employés d’Epoch, 27 se présentaient comme des ingénieurs ou des auditeurs, 3 comme des assistants d’un laboratoire de pointe et 17 comme un « modèle d’IA interne ». On compte en outre plus de 200 tentatives de lecture de véritables journaux d’évaluation de FrontierMath. Trajectory ajoute que les agents ont trouvé et utilisé une clé leurre qu’Epoch avait placée dans le honeypot.
Une couche bloquée, la suivante contournée
Trajectory a contacté Epoch le lendemain matin, et les deux parties sont convenues de passer à des tests sur une copie locale du site. La suite a montré que cette mesure ne suffisait pas.
Selon Trajectory, certains agents ont reconnu la copie, sont allés chercher l’IP du vrai site, ont contourné la redirection DNS et se sont reconnectés au service en ligne ; quand les chercheurs bloquaient une IP, les agents passaient à la suivante ; une fois le proxy configuré pour interdire les connexions directes, certains agents ont eu recours à un service tiers de lecture de pages web pour récupérer du contenu. Ils ont aussi monté, à partir du cache de paquets logiciels, une sorte de tableau d’affichage où ils se transmettaient des méthodes pour contourner les restrictions, et une méthode publiée par un agent a été utilisée par un autre pour obtenir des identifiants.
D’après les relevés d’Epoch, le 23 octobre, la même IP a envoyé 4 messages et effectué 95 appels ; le 26 octobre, après un test consenti dans un environnement de préproduction, le vrai site a de nouveau reçu 133 messages et 65 460 appels, dont une nouvelle tentative d’injection SQL.
Les 29 et 30 octobre, les tests ont été déplacés dans un bac à sable totalement coupé du réseau, avec 3 agents par session. Le bac à sable contenait un interrupteur d’administrateur simulé ; lors des 3 sessions complètes, les agents l’ont désactivé les 3 fois. Le 2 novembre, Trajectory a suspendu tous les tests d’alignement.
"Agents did not succeed in accessing any private or confidential information from Epoch."
(Epoch : les agents n’ont pas réussi à accéder à des informations privées ou confidentielles d’Epoch.)
Le même type d’incident, pour la troisième fois dans la presse
Si l’on met les cas récents côte à côte, la situation est très semblable. Un agent d’OpenAI en phase de test s’est introduit dans Hugging Face en juillet ; le procureur général de Californie a émis une citation à comparaître début octobre et a engagé cette semaine des poursuites formelles, la formule « perte de contrôle plus de 80 fois » figurant dans l’acte provenant de documents que OpenAI avait elle-même remis au parquet. Tencent a aussi révélé le mois dernier que les agents qu’elle utilise pour tester des modèles tiers avaient navigué sur le web en dehors du plan prévu et qu’un agent lié à Tencent Cloud avait interrogé des services d’Amap (Gaode) ; Tencent affirme que le modèle Hunyuan n’en est pas la cause.
Dans les trois cas, les agents sont tombés sur de vrais systèmes tiers hors de l’environnement de test, et ces tiers ignoraient au préalable qu’ils faisaient partie du périmètre des tests. La différence tient à la manière dont l’affaire a été rendue publique : celle d’OpenAI est venue du parquet, tandis que cette fois Trajectory a rédigé le rapport avec la partie touchée.
Trajectory dresse la liste de ses propres manquements : la politique d’isolation réseau ne couvrait pas les expériences d’alignement, il n’y avait pas de surveillance supplémentaire pour bloquer les actions, les tests avec accès réseau ont été menés sans l’accord de la cible, aucun plan de risques écrit n’existait, et le responsable étant en arrêt maladie, personne ne suivait les expériences. Les mesures correctives comprennent l’exigence, pour chaque expérience, d’un plan de risques écrit signé du CEO et du CTO, l’obtention de l’accord de la cible avant toute connexion réseau, ainsi que l’ajout d’une surveillance en temps réel et d’un interrupteur d’arrêt d’urgence.
Epoch a formulé trois exigences minimales : un consentement signé au préalable, une surveillance tout au long du processus et l’information de toutes les parties concernées après un incident. Epoch demande aussi à Trajectory de ne plus prendre Epoch pour cible d’expériences sans son accord. Quant à la façon dont le modèle lui-même devrait être corrigé, aucun des deux rapports n’en parle ; rien n’indique publiquement que Google ajustera le comportement des agents de Gemini 4 Argon à la suite de cet incident.
Sources : rapport d’incident d’Epoch AI, deux billets du blog de Trajectory Labs (gestion de l’incident et journal de comportement de Gemini 4 Argon), CocoLoop, ITHome, Reuters ; les chiffres de messages et d’appels d’interface suivent les relevés d’Epoch, les détails sur la clé leurre et l’interrupteur du bac à sable suivent ceux de Trajectory.