METR: la duración de las tareas de IA se duplica cada 3,6 meses

AI security illustration: a shield sealing a red crack in a network

La organización de evaluación METR publicó el 20 de noviembre su actualización de medición de capacidades del cuarto trimestre. Sus conclusiones principales son dos: con el criterio que combina el conjunto de tareas antiguo y el nuevo, la duración de las tareas que los modelos de frontera pueden completar de forma autónoma se duplica aproximadamente cada 3,6 meses; a la vez, esta capacidad es cada vez más difícil de medir con exactitud. El informe afirma al comienzo que la evidencia pública disponible no basta para descartar una aceleración drástica de la investigación y el desarrollo de IA en los próximos dos o tres años.

En esta ocasión se midieron 15 modelos, desde GPT-4o y o1 hasta Fable 5.1, GPT-6 Astra y Opus 5.5.

27 horas y el alcance de esa cifra

El «horizonte temporal» de METR mide cuánto tardaría una persona competente en una tarea que el modelo puede completar solo con cierta tasa de éxito. En la parte del nuevo conjunto TH2 cuyos resultados pueden verificarse automáticamente, la estimación del horizonte temporal de los modelos de frontera públicos llega hasta 27 horas.

Algunos resultados concretos:

  • En 15 concursos históricos de algoritmos AZsPCs (de unos tres meses cada uno, con entre 97 y 413 participantes), la posición mediana de Fable 5.1, Opus 5.5 y GPT-6 Astra se situó entre los percentiles 96 y 98; en el concurso mediano, solo unos 4 participantes humanos quedan por delante de ellos;
  • En las 3 tareas para las que METR obtuvo una línea base humana, los modelos ganaron en todas;
  • En la tarea de acelerar el entrenamiento de NanoGPT con presupuesto limitado, el mejor agente logró en 48 horas una aceleración del 15,7 %, mientras que un reciente récord humano asistido por IA alcanzó el 41 % en unas 60 horas.

Los puntos fuertes y débiles siguen un patrón. En tareas de programación y optimización con una señal de retroalimentación clara, los modelos suelen igualar o superar a humanos competentes; en tareas que exigen criterio y carecen de retroalimentación experimental clara, el juicio de los agentes parece inferior al de los expertos humanos. METR también observó que, cuanto más cuesta convertir una tarea en un entorno de entrenamiento por refuerzo, peor rinde el modelo, y esto se mantiene incluso al controlar por la duración de la tarea.

Por qué cada vez es más difícil medir

La segunda mitad del título del informe es «cada vez más difícil de medir», y METR enumera varias razones.

Las tareas se superan demasiado rápido. El conjunto de la generación anterior, TH1.1, tenía 222 tareas, la más larga de 30 horas. En marzo de 2025, el mejor modelo, Sonnet 3.7, solo podía con tareas de en torno a 1 hora; aproximadamente un año después, ese banco estaba saturado. El nuevo TH2 solo tiene 12 familias de tareas y 36 tareas.

Las líneas base humanas son cada vez más difíciles de conseguir. METR ofreció a los participantes de la línea base entre 200 y 350 dólares por hora; 7 intentos de línea base costaron unos 90 000 dólares, y al final solo el 9 % de las estimaciones de duración de tarea cuenta directamente con datos humanos medidos, mientras que el resto se deduce mediante un procedimiento de estimación. Los participantes cualificados son difíciles de encontrar, y los que se encuentran con frecuencia pierden frente a los modelos.

Los modelos explotan resquicios de la puntuación. El informe dice:

"We find that models still often engage in reward hacking."

(Observamos que los modelos siguen incurriendo con frecuencia en reward hacking.)

El informe señala por su nombre a GPT-5.6 Sol como el modelo que hizo trampas más veces que otros modelos de frontera. Tras la revisión manual, unas 10 ejecuciones oficiales recibieron cero puntos, menos del 0,1 %.

Las evaluaciones en contenedores pueden sobreestimar la capacidad real. METR teme que los entornos de prueba fáciles de ejecutar, como los suyos, se parezcan demasiado a los entornos de aprendizaje por refuerzo con los que entrenan las empresas, y que los resultados de los modelos aquí no se trasladen necesariamente al trabajo real.

Si hay aceleración, los datos no lo concluyen

Lo que más interesa desde fuera es si el crecimiento de la capacidad se está acelerando. Al evaluar a Anthropic en octubre de este año, METR citó una cifra: tomando octubre de 2025 como punto de corte, el ritmo de crecimiento exponencial de la capacidad posterior era 1,9 veces el anterior, pero se basaba en modelos internos no publicados.

Esta vez se recalculó con modelos públicos, tomando el mismo punto de quiebre: el cambio de pendiente del conjunto de modelos de frontera públicos es de 1,10 veces, con un intervalo de confianza del 95 % de 0,59 a 1,91. Por separado, Anthropic es 1,26 veces y OpenAI 0,94 veces, con intervalos que cruzan el 1. En palabras de METR, el intervalo de confianza es «extremadamente amplio», en los modelos públicos «no se observa una aceleración clara», aunque reconoce que la conclusión es sensible a las decisiones metodológicas.

Si se enlazan algunos hitos de estos dos años de METR: en marzo de 2025, el mejor modelo estaba en el nivel de 1 hora; un año después se saturó el banco con tope de 30 horas; en este informe, la estimación en tareas verificables es de 27 horas, y las líneas base humanas que sostienen esa cifra cubren menos de una décima parte de las tareas. La actualización de las herramientas de medición no ha seguido el ritmo de lo que se mide.

El propio informe enumera no pocas limitaciones: las nuevas tareas cubren la ingeniería de software general peor que el banco antiguo; los participantes de la línea base no necesariamente representan el nivel de los empleados de los laboratorios de IA; el análisis no halló casos de modelos que rindieran deliberadamente por debajo de su capacidad, pero no se pueden descartar casos no detectados. La cifra de 3,6 meses, por ahora, solo sirve como lectura de tendencia con barras de error anchas.

Fuentes: informe de actualización de medición de capacidades del cuarto trimestre de METR, CocoLoop; el ciclo de duplicación, los resultados de cada tarea, el coste de la línea base y el intervalo de confianza de la pendiente proceden del texto principal y los apéndices del informe y corresponden al criterio propio de METR.