Ce printemps, l'armée américaine a failli monter à bord d'un cargo chinois au Moyen-Orient. Des militaires armés étaient déjà en position, des avions militaires avaient déjà décollé, mais l'opération a été annulée à la toute dernière étape. La raison : en réexaminant de plus près le rapport de renseignement à l'origine de cette interception, des responsables ont découvert qu'il avait été rédigé avec l'aide de l'intelligence artificielle, et que la cargaison qu'il affirmait avoir identifiée n'existait tout simplement pas.
CNN a révélé l'affaire le 18 septembre, en citant plusieurs personnes au fait du dossier. D'autres médias ont ensuite confirmé l'information, avec des faits centraux concordants : un produit de renseignement élaboré avec l'IA a parcouru toute la chaîne, de la rédaction jusqu'à la décision.
Deux recours à l'IA, un seul rapport
Le rapport provient d'un analyste du Commandement des opérations spéciales du Pacifique de l'armée américaine, basé à Hawaï. Cet analyste a d'abord utilisé un chatbot pour vérifier le manifeste de cargaison du navire concerné ; l'outil a mélangé des informations issues de sources ouvertes avec des éléments provenant de bases de données de renseignement sensibles pour aboutir à une conclusion. Il a ensuite utilisé à nouveau l'IA pour rédiger le rapport de renseignement dans le format standard. La combinaison de ces deux étapes a produit un document, transmis à la chaîne de décision, affirmant que le navire transportait des composants liés au programme nucléaire iranien.
Ce rapport a circulé pendant une période de confrontation militaire entre les États-Unis et l'Iran. Selon le protocole habituel, ce type de renseignement mène à une interception en mer : des militaires armés montent à bord pour inspecter la cargaison. Des avions survolaient déjà la zone. Une source militaire a déclaré à CNN que ce rapport était "entirely false, but almost started a war".
"entirely false, but almost started a war"
Entièrement faux, mais a failli déclencher une guerre.
L'opération n'a finalement pas été exécutée. Avant la mise en œuvre du plan, des responsables ont procédé à un examen plus approfondi, qui a permis de découvrir l'origine du rapport liée à l'IA ainsi que l'erreur de l'outil concernant la cargaison. CNN n'a précisé ni ce que le navire transportait réellement, ni sa destination, ni quel chatbot l'analyste avait utilisé. Le Commandement central des États-Unis (CENTCOM) n'a pas répondu à la demande de commentaire.
À quelle étape l'outil est-il intervenu
Cette affaire ne comporte ni jailbreak, ni attaque adversariale, ni piratage. Le problème vient d'un usage tout à fait banal : recourir à un chatbot généraliste pour agréger de l'information. L'outil a combiné des informations en source ouverte avec des éléments issus de bases de données classifiées pour produire une conclusion qui semblait complète et conforme au format attendu — une conclusion ensuite traitée, plus loin dans la chaîne, comme un fait vérifié. La seconde étape, la rédaction assistée par IA, a ajouté une couche supplémentaire de crédibilité : un produit de renseignement qui se lisait comme s'il avait été rédigé par une personne, conforme aux normes.
Le processus de renseignement comportait pourtant plusieurs étapes de validation humaine. Si l'interception n'a pas eu lieu, c'est grâce à un examen plus attentif effectué de manière improvisée juste avant l'action, et non à un point de contrôle prévu dans le processus lui-même. Si cet examen n'avait pas eu lieu, ou avait été fait un peu plus superficiellement, ce document aurait suivi son cours normal.
Sur qui retombe cette erreur
La cible était un navire chinois. Si l'abordage avait réellement eu lieu, les conséquences en auraient été supportées par l'équipage, l'armateur et les mécanismes de gestion de crise des deux pays, et non par l'analyste ayant rédigé le rapport ni par le fournisseur de l'outil. Le risque technologique est né à l'intérieur du processus américain, mais le coût serait apparu en dehors de ce processus. La Chine ne s'est pour l'instant pas exprimée publiquement sur cet incident, et rien dans les articles n'indique que la partie chinoise ait été informée.
Pour les compagnies maritimes chinoises opérant sur les routes du Moyen-Orient, la nature de la réponse à la question « sur quoi l'armée américaine se fonde-t-elle pour soupçonner mon navire » est en train de changer : d'un jugement de renseignement validé par des humains, on passe à un document ayant pu transiter deux fois par l'IA. Aucun mécanisme public ne précise à ce jour à quel niveau on peut faire appel, ni qui corrige l'erreur le cas échéant.
Des recommandations qui restent des recommandations
L'intégration de l'IA dans l'analyse du renseignement, la désignation des cibles et la logistique n'a pas été remise en cause par cet incident. Les experts cités dans les articles publics proposent deux mesures : fixer des lignes rouges interdisant à l'IA d'intervenir sur les systèmes liés au nucléaire, et créer un canal de notification des incidents liés à l'IA entre grandes puissances, comparable à une ligne rouge nucléaire. Ces deux propositions restent pour l'instant de simples recommandations, sans être intégrées à un quelconque document contraignant.
D'après les informations publiques disponibles, aucune étape n'a été officiellement modifiée à ce jour. Le Commandement central des États-Unis n'a pas indiqué si les règles encadrant l'usage d'outils d'IA généralistes par les analystes avaient été ajustées, ni combien d'autres documents, en dehors de ce rapport, ont suivi le même chemin.
Sources : CNN Politics, Gizmodo, CocoLoop, Taipei Times ; le commandement concerné, l'ordre des deux recours à l'IA et la citation « entirely false » ont été vérifiés à partir du récit concordant de plusieurs médias anglophones.