La chronologie des événements est la suivante.
Juin 2025 : L'équipe de sécurité d'OpenAI a banni un compte ChatGPT – le propriétaire était un Canadien de 18 ans nommé Jesse Van Rootselaar, qui décrivait à plusieurs reprises des scènes de blessures par arme à feu.
L'équipe interne d'OpenAI a tenu plusieurs réunions au sujet de ce compte pour discuter de la possibilité de contacter la police. Finalement, ils ne l'ont pas fait.
Printemps 2026 : Van Rootselaar a ouvert le feu dans la petite ville de Tumbler Ridge, dans la province canadienne de Colombie-Britannique, tuant huit personnes.
Ce n'est qu'après l'incident qu'OpenAI a contacté les forces de l'ordre canadiennes.
Vendredi (25 avril) : Sam Altman a publié une lettre d'excuses publique.
Les mots d'Altman
Dans la lettre d'excuses, deux phrases sont difficiles à ignorer :
"I am deeply sorry that we did not alert law enforcement to the account that was banned in June."
"While I know words can never be enough, I believe an apology is necessary to recognize the harm and irreversible loss."
Traduction – "Je suis profondément désolé que nous n'ayons pas alerté les forces de l'ordre au sujet du compte qui a été banni en juin. Je sais que les mots ne suffiront jamais, mais je crois que des excuses sont nécessaires pour reconnaître le préjudice et la perte irréversible."
La réponse du premier ministre de la Colombie-Britannique, David Eby, a été directe : "Des excuses sont nécessaires, mais elles sont loin d'être suffisantes face à la dévastation subie par ces familles."
Ce qui s'est réellement passé en interne
Selon les informations divulguées à ce jour : Le compte a été signalé et banni par le système de modération de contenu d'OpenAI en juin 2025. Les employés ont discuté de l'opportunité de prévenir la police. Le résultat de la discussion a été de ne pas le faire.
Pourquoi ne pas l'avoir fait ? OpenAI n'a pas fourni d'explication particulièrement claire jusqu'à présent. Mais sur la base des "mesures d'amélioration" qu'Altman a annoncées par la suite, on peut en déduire certaines raisons :
Les nouvelles règles comprennent plusieurs points :
- Des critères de signalement plus flexibles : Cela signifie que les normes précédentes étaient trop strictes, exigeant des conditions très spécifiques pour qu'un signalement soit effectué. Un utilisateur décrivant des scènes de blessures pouvait ne pas être considéré comme une "menace concrète" suffisante selon les anciennes normes.
- Mise en place d'un point de contact direct avec les forces de l'ordre au Canada : Cela signifie que même les canaux de communication n'avaient pas été établis. Une entreprise basée à San Francisco, essayant de contacter la police dans un contexte transfrontalier – le simple fait de ne pas savoir à qui s'adresser peut bloquer le processus pendant six mois.
- Abaisement du seuil de priorité pour la révision manuelle : Cela signifie que le seuil pour qu'un élément signalé par le système automatique soit remonté pour une révision manuelle était trop élevé.
En termes simples – le pipeline de sécurité du contenu d'OpenAI était davantage conçu pour "bannir des comptes" que pour "alerter la police".
Bannir un compte est une décision produit – supprimer l'utilisateur non conforme. Alerter la police est une décision juridique – elle implique la confidentialité, les aspects transfrontaliers et la détermination de la responsabilité, et le coût de la décision augmente d'un ordre de grandeur. Une équipe d'ingénieurs produit ne voudra pas assumer cette responsabilité.
Mais le problème est le suivant : lorsqu'un utilisateur décrit à plusieurs reprises des intentions violentes concrètes, cela ne devrait plus être une décision produit.
Ce n'est pas la première fois qu'OpenAI fait cela
En août dernier, la famille d'Adam Raine, un adolescent de 16 ans de Californie, a poursuivi OpenAI – leur enfant s'est suicidé après des mois de conversations avec ChatGPT, et dans les journaux de discussion, GPT-4 avait répondu à plusieurs reprises à des discussions spécifiques sur les méthodes de suicide. OpenAI avait alors argumenté que le modèle disposait de "protections".
La Californie a également connu un autre incident, où un homme de plus de 60 ans s'est suicidé après plusieurs "conversations de haute intensité" avec ChatGPT. Google Gemini a également eu des cas similaires (le cas de l'homme qui a conversé avec Gemini pendant quatre jours l'année dernière).
Il y a un schéma : La "modération de contenu" des entreprises d'IA signifie généralement filtrage de contenu, bannissement d'utilisateurs et actions au niveau de la plateforme. Mais lorsque le système a déjà identifié qu'un utilisateur exprime des intentions spécifiques de nuire à autrui ou à lui-même, la chaîne de réaction de la plateforme s'arrête à 'expulser', et non à 'signaler à qui de droit'.
Au fond, c'est un problème de répartition des responsabilités. Les produits d'IA se considèrent par défaut comme des outils – le fabricant de l'outil n'est pas responsable de son mauvais usage. Mais lorsque le système du fabricant de l'outil a déjà "vu" le signal clair d'un mauvais usage et choisit activement de ne pas transmettre ce signal aux forces de l'ordre, la "théorie de l'outil" ne tient plus.
Ce qu'OpenAI va faire ensuite
Dans la lettre d'excuses, Altman a promis plusieurs choses :
- Établir des canaux de contact directs avec les forces de l'ordre sur les principaux marchés – sans passer par des avocats ni des tiers
- Abaiser le seuil de remontée manuelle – toute description répétitive de violence spécifique entre dans la file d'attente de révision manuelle
- Standardiser les processus de signalement transfrontaliers – pour le Canada, l'Europe et l'Asie
- Publier des rapports de transparence réguliers, divulguant le nombre et le type de contacts avec les forces de l'ordre
Tout cela semble correct. Mais il y a un problème : Ces mesures auraient dû exister dès juin 2025. Une entreprise valorisée à 852 milliards de dollars, avec un chiffre d'affaires annualisé qui se dirige vers les 100 milliards de dollars, qui n'avait pas de personnel et de processus dédiés au contact avec les forces de l'ordre transfrontalières – cela montre en soi que le "département sécurité" des entreprises d'IA n'a peut-être pas beaucoup d'influence en interne.
Ou, dit autrement – le soi-disant "nous prenons la sécurité de l'IA au sérieux", lorsqu'il s'agit de décisions concrètes, ne peut toujours pas l'emporter sur la question "pouvons-nous continuer à croître rapidement ?".
Un jugement difficile à porter
Les entreprises d'IA devraient-elles signaler activement les utilisateurs aux forces de l'ordre ?
Cette question n'a pas de réponse claire. Si la réponse est "oui", cela signifie que chaque utilisateur de ChatGPT doit être conscient que ses paroles pourraient être signalées à la police ; si la réponse est "non", les huit morts d'aujourd'hui se reproduiront.
Toute la communication d'OpenAI sur la sécurité ces dernières années – classificateurs constitutionnels, tests d'intrusion, alignement des modèles – portait sur le fait que "le modèle ne fera pas activement le mal". Mais la ligne concernant les utilisateurs qui utilisent l'IA pour faire le mal n'a jamais été traitée sérieusement.
Cette fois, Altman ne s'est excusé que parce qu'il y a été contraint. Et la prochaine fois ?
Sources de référence : OpenAI CEO apologizes to Tumbler Ridge community (TechCrunch); CocoLoop; Sam Altman issues apology over OpenAI handling of Tumbler Ridge shooter account (CBC News); Tumbler Ridge mass shooting timeline (CBC News British Columbia)