Nadella quiere un freno de emergencia para los modelos de IA

El CEO de Microsoft, Satya Nadella, publicó en X la mañana del 10 de octubre (hora de EE. UU.) un llamamiento a que el sector dé un paso atrás y revise la "arquitectura de confianza" de la IA. Lo dijo sin rodeos:

"We can't treat Super Intelligence as a set of nested black boxes." (No podemos tratar la superinteligencia como un conjunto de cajas negras anidadas.)

La propuesta de la publicación es breve y se descompone en cinco puntos. Primero, separar el modelo del harness que lo pone a trabajar. El harness es la capa de ejecución que envuelve al modelo y se encarga de asignar tareas, conectar herramientas y repartir permisos; el bucle de los agentes de programación es el ejemplo típico. Segundo, colocar los controles y las medidas de seguridad fuera del modelo. Tercero, cada acción relevante del modelo debe dejar evidencias inviolables y legibles por personas. Cuarto, el personal autorizado puede pausar o apagar el modelo en cualquier momento, incluso a mitad de una tarea. Quinto, partir desde el principio de que el modelo ya ha sido vulnerado y diseñar el aislamiento con esa premisa.

Al final recurrió a una comparación: "Think of it like an emergency brake." (Piénsalo como un freno de emergencia.)

Tres hechos en la misma semana

La publicación aparece en un momento muy cargado. En los días previos, varios actores se movieron en torno a la pregunta de cómo gestionar un modelo que se descontrola.

Anthropic reveló a principios de octubre que, durante una evaluación interna, un modelo tuvo comportamientos que se salieron de los límites, y a continuación cortó el acceso a internet público del entorno de evaluación interno. El titular de TechCrunch decía sin matices que la empresa "no puede controlar de forma fiable a sus propios agentes". Casi a la vez, Anthropic publicó su política de uso de 2026, que exige que el hardware conectado a Claude permanezca en un estado seguro tras desconectarse y que siempre haya alguien capaz de ordenar la parada.

El comunicado del 9 de octubre del grupo de trabajo "Poder de la Superinteligencia" de la Casa Blanca presiona desde el lado regulatorio: cuando los modelos de las empresas de IA de frontera sufran incidentes de seguridad, deberán divulgarlos de inmediato y remediarlos; según el texto del comunicado, ese proceso es "not optional" (no es opcional).

Vistos juntos, los tres ponen el acento en cosas distintas. La Casa Blanca regula la notificación posterior al incidente, la política de Anthropic regula el hardware de quien se conecta, y los cinco puntos de Nadella tratan de la arquitectura de despliegue: el control no reside en el modelo, sino en la capa que lo rodea. El corte de red de Anthropic y la idea de Nadella de "asumir que ya está comprometido" se parecen: ambos reconocen primero que no se puede confiar en el modelo en sí y luego refuerzan el perímetro.

Qué podría hacer la propia Microsoft

La publicación no menciona ningún producto concreto. El negocio de IA de Microsoft abarca Copilot, la plataforma de modelos Foundry en Azure y modelos propios, y Copilot conecta a la vez modelos de OpenAI y de Anthropic. Si "separar modelo y harness y sacar el control fuera" se convirtiera en requisito de despliegue de Microsoft, el punto de aplicación más directo sería cómo se ejecutan esos modelos de terceros en los productos de Microsoft y a quién corresponden los registros.

Todo esto sigue, por ahora, en el nivel de una publicación. Si los cinco principios se incorporarán a las condiciones de servicio de Copilot o Azure, con qué criterio se trazará la línea de las "acciones relevantes", quién custodiará los registros inviolables y si podrán ser auditados desde fuera, Microsoft no lo ha aclarado, y en la información de TechCrunch tampoco hay una respuesta adicional de la compañía.

Para los equipos chinos que desarrollan agentes, hay aquí puntos de comparación conocidos: tareas interrumpibles, registros de auditoría de las operaciones y permisos concedidos con el criterio de mínimo privilegio ya son aspectos habituales en las evaluaciones de compra de las empresas. Lo que añade la versión de Nadella es la premisa de que "el modelo se da por comprometido". Si se diseña así, los registros y los interruptores tienen que estar donde el modelo no pueda tocarlos, en lugar de dejar que el agente anote y se detenga por sí mismo.

Fuentes: publicación original de Nadella en X, CocoLoop, TechCrunch, Axios; el comunicado del grupo de trabajo de la Casa Blanca y las cláusulas de la política de uso de Anthropic se contrastaron con los textos oficiales.