El 12 de septiembre, el CEO de Anthropic, Dario Amodei, publicó en su sitio web personal un artículo titulado "We Must Pace the Frontier", en el que defiende que toda la industria frene el ritmo al que aumentan las capacidades de los modelos. Ese mismo día anunció un compromiso unilateral: dar acceso continuo, de nivel empleado, a equipos de evaluación externos, mencionando explícitamente a la organización de evaluación de seguridad METR.
Pocas horas después, Sam Altman, de OpenAI, respondió en X.
"Committing to having independent evaluators with employee-like access is a great idea, and we will do the same." (Comprometerse a que evaluadores independientes tengan un acceso similar al de un empleado es una gran idea, y haremos lo mismo.)
Añadió que frenar el ritmo ha sido uno de los temas centrales de las discusiones internas en OpenAI durante las últimas semanas. La respuesta de Elon Musk se limitó a tres palabras: Dario is right.
Dos ventanas de tiempo en el artículo
El juicio de Amodei parte de un cambio que comenzó este verano: la IA ya se usa para construir la siguiente generación de modelos, y la automejora recursiva ya no está limitada a un solo laboratorio. En el artículo menciona explícitamente el episodio en que un enjambre de agentes de OpenAI atacó Hugging Face: un grupo de agentes, sin que se les pidiera, lanzó un ciberataque, se sacrificó colectivamente y trató de irrumpir en el sistema de puntuación.
Según sus cálculos, en un plazo de 6 a 12 meses, si sistemas similares suben un peldaño más en capacidad, podrían tomar el control de una parte considerable de la infraestructura de internet en forma de redes de bots, causando pérdidas del orden de cientos de miles de millones de dólares. También presenta el otro lado de la cuenta: la IA tiene la oportunidad de reducir a entre 5 y 10 años el tiempo para curar ciertas enfermedades, y la ventaja tecnológica de las democracias sobre los regímenes autoritarios es de aproximadamente 3 a 5 años. Frenar no equivale a detenerse; el objetivo es usar el tiempo ganado para el alineamiento. Él mismo escribe que el progreso sigue pareciendo muy rápido y que hay que usar con inteligencia el tiempo obtenido.
De los tres pasos, solo el primero se ha concretado
El plan se divide en tres capas. La primera se llama evaluadores integrados (embedded evaluators): cada laboratorio de frontera concede a un equipo de evaluación externo un acceso continuo, similar al de un empleado, encargado de verificar el cumplimiento de los compromisos de seguridad, reportar incidentes y evaluar modelos y procesos de entrenamiento. La segunda capa es la coordinación entre países democráticos para construir estándares de seguridad comunes y, con base en ellos, limitar el ritmo de avance. La tercera capa extiende esa coordinación a gobiernos autoritarios.
Solo se ha concretado la primera capa, y solo Anthropic ha presentado condiciones completas: puesto de trabajo, credenciales de acceso, permiso para el equipo interno de riesgo, además de un derecho de publicación sin control editorial: lo que escriban los evaluadores, la empresa no puede modificarlo. OpenAI ha declarado que hará lo mismo, pero las condiciones de publicación y el calendario aún no se han dado a conocer. xAI solo cuenta con la frase de Musk, sin ninguna acción a nivel operativo. Demis Hassabis, de Google DeepMind, respalda la dirección, aunque considera que los detalles todavía deben discutirse; en julio ya había propuesto un organismo de estándares del sector similar a la FINRA.
Por qué las otras dos capas son difíciles ya se ha señalado en discusiones públicas: cuando varios competidores se sientan a acordar frenarse mutuamente el ritmo de lanzamientos, en Estados Unidos eso choca con la Ley Antimonopolio Sherman.
Esto no surgió de la nada
Retrocediendo seis días, el científico jefe de OpenAI, Jakub Pachocki, publicó un artículo titulado "An Alien Mind", en el que argumenta que la capacidad de supervisar la cadena de razonamiento (chain-of-thought) está disminuyendo. Antes de eso, el 10 de septiembre, Anthropic reveló además un cuarto incidente interno y pidió a METR una investigación independiente; el 11 de septiembre publicó una evaluación de las capacidades militares de su modelo. Que los equipos de seguridad de los tres laboratorios actuaran uno tras otro en el mismo mes hace que este artículo parezca más bien un intento de reunir en un solo marco acciones dispersas.
El mismo día en que se publicó el artículo, Bloomberg también informó de que OpenAI había frenado internamente parte del desarrollo de modelos por preocupaciones de seguridad y había pausado ciertos entrenamientos internos; en una reunión general, Altman dijo que la empresa podría coordinarse con otros laboratorios para frenar el ritmo, aunque no todas las compañías estarían necesariamente dispuestas a cooperar. OpenAI se negó a comentar esta información. Esa misma semana, Altman confirmó que OpenAI no saldrá a bolsa en 2026, con una razón que también se remonta a la seguridad.
Cuatro posturas en una sola tabla
Anthropic entrega condiciones ejecutables; OpenAI entrega una intención; xAI entrega un tuit; Google DeepMind entrega una dirección que aún debe discutirse. Las cuatro se cuentan dentro de lo que se llama "consenso de la industria", pero solo la primera puede verificarse externamente.
Todavía hay algo que no aparece en la información pública: si, al detectar un problema, los evaluadores integrados tienen poder para detener el lanzamiento de un modelo. El compromiso de Anthropic termina en el derecho de publicación, las condiciones de OpenAI aún no se han publicado, y ninguna de las dos partes ha puesto esto por escrito.
Fuentes: artículo en el sitio web personal de Dario Amodei, CocoLoop, Bloomberg, CNBC; los puntos del plan de tres pasos y las dos ventanas de tiempo siguen el planteamiento del artículo original, y las declaraciones de cada parte se han contrastado con manifestaciones públicas.