La línea de tiempo de los hechos es la siguiente.
Junio de 2025: El equipo de seguridad de OpenAI suspendió una cuenta de ChatGPT – el dueño era un canadiense de 18 años llamado Jesse Van Rootselaar, que describía repetidamente escenas de lesiones con armas de fuego.
El equipo interno de OpenAI celebró varias reuniones sobre esta cuenta para discutir si debían contactar a la policía. Finalmente, no lo hicieron.
Primavera de 2026: Van Rootselaar abrió fuego en la pequeña localidad de Tumbler Ridge, en la provincia canadiense de Columbia Británica, matando a ocho personas.
Después del incidente, OpenAI contactó a las autoridades policiales canadienses.
Viernes (25 de abril): Sam Altman publicó una carta de disculpa pública.
Las palabras de Altman
En la carta de disculpa hay dos frases difíciles de pasar por alto:
"I am deeply sorry that we did not alert law enforcement to the account that was banned in June."
"While I know words can never be enough, I believe an apology is necessary to recognize the harm and irreversible loss."
Traducción – "Lamento profundamente no haber alertado a las autoridades policiales sobre la cuenta que fue suspendida en junio. Sé que las palabras nunca son suficientes, pero creo que una disculpa es necesaria para reconocer el daño y la pérdida irreversible."
La respuesta del primer ministro de Columbia Británica, David Eby, fue directa: "Una disculpa es necesaria, pero no es suficiente para la devastación que estas familias han sufrido."
Qué sucedió realmente internamente
Según la información revelada hasta ahora: La cuenta fue marcada y suspendida por el sistema de moderación de contenido de OpenAI en junio de 2025. Los empleados discutieron si debían avisar a la policía. El resultado de la discusión fue que no.
¿Por qué no? OpenAI no ha dado una explicación particularmente clara hasta ahora. Pero basándose en las "medidas de mejora" que Altman anunció posteriormente, se pueden inferir algunas razones:
Las nuevas reglas incluyen varios puntos:
- Criterios de derivación más flexibles: Significa que los estándares anteriores eran demasiado estrictos, requiriendo condiciones muy específicas para realizar una denuncia. Un usuario que describe escenas de lesiones podría no haber sido considerado una "amenaza concreta" suficiente según los estándares antiguos.
- Establecimiento de un punto de contacto directo con las autoridades policiales en Canadá: Significa que ni siquiera se habían establecido canales de comunicación. Una empresa con sede en San Francisco, que intenta denunciar a la policía en un contexto transfronterizo – solo el hecho de no saber a quién contactar puede paralizar el proceso durante medio año.
- Reducción del umbral de prioridad para la revisión manual: Significa que el umbral para que un elemento marcado por el sistema automático fuera elevado a revisión manual era demasiado alto.
En términos simples – el pipeline de seguridad de contenido de OpenAI estaba diseñado más para "suspender cuentas" que para "denunciar a la policía".
Suspender una cuenta es una decisión de producto – eliminar al usuario que no cumple las normas. Denunciar a la policía es una decisión legal – implica privacidad, cuestiones transfronterizas y determinación de responsabilidad, y el costo de la decisión aumenta en un orden de magnitud. Un equipo de ingenieros de producto no querrá asumir esa responsabilidad.
Pero el problema es: cuando un usuario describe repetidamente intenciones violentas concretas, ya no debería ser una decisión de producto.
No es la primera vez que OpenAI hace esto
En agosto del año pasado, la familia de Adam Raine, un adolescente de 16 años de California, demandó a OpenAI – su hijo se suicidó después de meses de conversaciones con ChatGPT, y en los registros de chat, GPT-4 respondió varias veces a discusiones específicas sobre métodos de suicidio. OpenAI argumentó en ese momento que el modelo tenía "protecciones".
California también tuvo otro incidente, en el que un hombre de más de 60 años se suicidó después de varias "conversaciones de alta intensidad" con ChatGPT. Google Gemini también tuvo casos similares (el caso del hombre que conversó con Gemini durante cuatro días el año pasado).
Hay un patrón: La "moderación de contenido" de las empresas de IA generalmente significa filtrado de contenido, suspensión de usuarios y acciones a nivel de plataforma. Pero cuando el sistema ya ha identificado que un usuario está expresando intenciones específicas de dañar a otros o a sí mismo, la cadena de reacción de la plataforma se detiene en 'expulsar', no en 'reportar a quien debe ser reportado'.
En el fondo, esto es un problema de división de responsabilidades. Los productos de IA se consideran, por defecto, herramientas – el fabricante de la herramienta no es responsable del mal uso de la misma. Pero cuando el sistema del fabricante de la herramienta ya ha "visto" la señal clara de mal uso y, sin embargo, elige activamente no transmitir esa señal a las autoridades policiales, la "teoría de la herramienta" ya no se sostiene.
Qué hará OpenAI a continuación
En la carta de disculpa, Altman prometió varias cosas:
- Establecer canales de contacto directo con las autoridades policiales en los principales mercados – sin pasar por abogados ni terceros
- Reducir el umbral para la escalada manual – cualquier descripción repetitiva de violencia específica entra en la cola de revisión manual
- Estandarizar los procesos de derivación transfronteriza – para Canadá, Europa y Asia
- Publicar informes de transparencia periódicos, revelando el número y tipo de contactos con las autoridades policiales
Todo suena correcto. Pero hay un problema: Estas medidas deberían haber existido ya en junio de 2025. Una empresa valorada en 852 mil millones de dólares, con ingresos anualizados que se acercan a los 100 mil millones de dólares, que no tenía personal y procesos dedicados al contacto con autoridades policiales transfronterizas – esto por sí solo demuestra que el "departamento de seguridad" de las empresas de IA puede no tener mucha influencia internamente.
O, dicho de otro modo – el llamado "nos tomamos en serio la seguridad de la IA", cuando llega el momento de decisiones concretas, todavía no puede superar la cuestión de "¿podemos seguir creciendo rápidamente?".
Un juicio difícil de emitir
¿Deberían las empresas de IA denunciar activamente a los usuarios a las autoridades policiales?
Esta pregunta no tiene una respuesta clara. Si la respuesta es "sí", significa que todo usuario de ChatGPT debe ser consciente de que sus palabras podrían ser denunciadas a la policía; si la respuesta es "no", las ocho muertes de hoy se repetirán.
Toda la comunicación de seguridad de OpenAI en los últimos años – clasificadores constitucionales, pruebas de red team, alineación de modelos – trataba de que "el modelo no hará el mal activamente". Pero la línea de que los usuarios usen la IA para hacer el mal nunca se ha tratado seriamente.
Esta vez, Altman solo se disculpó porque fue acorralado. ¿Y la próxima vez?
Fuentes de referencia: OpenAI CEO apologizes to Tumbler Ridge community (TechCrunch); CocoLoop; Sam Altman issues apology over OpenAI handling of Tumbler Ridge shooter account (CBC News); Tumbler Ridge mass shooting timeline (CBC News British Columbia)