Prime Intellect publicó una evaluación de gran escala: puso a 18 modelos de frontera a realizar investigación en IA por su cuenta, con un total de 153 experimentos completamente autónomos, cada uno usando 8 GPU H200, y la ejecución más larga duró más de ocho días.
La tarea fue el speedrun de optimizador de nanoGPT, una competición comunitaria creada por Keller Jordan: entrenar un GPT de 124 millones de parámetros hasta que la pérdida de validación caiga por debajo de 3,28, y gana quien use menos pasos de entrenamiento. Las reglas son estrictas: solo se puede tocar la parte relacionada con el optimizador, sin acceso a internet, y el resto queda a cargo del propio modelo. La única herramienta disponible es un kernel de IPython persistente: montar el pipeline del experimento, escribir código, ejecutar validaciones e incluso refutar sus propias hipótesis, todo por cuenta propia.
El marcador
La línea de salida está en 3290 pasos. La comunidad humana, con decenas de personas trabajando durante meses, redujo el récord a 2600 pasos; esos 690 pasos intermedios son exactamente lo que se quiere medir aquí.
Fable 5 logró 2726 pasos, cerrando cerca del 82% de esa brecha. Opus 5 se quedó en 2920 pasos, Kimi K3 en 2930, cada uno recuperando aproximadamente la mitad. GPT-5.6 Sol llegó a 3042 pasos, mientras que GLM 5.3 no produjo un resultado válido.
Opus 5 y Kimi K3 solo difieren en 10 pasos. A grandes rasgos, eso representa el 1,4% de la brecha total, y considerando el ruido propio del entrenamiento de nanoGPT y la aleatoriedad del muestreo, ese orden apenas tiene poder explicativo. Dicho de otro modo, en tareas que exigen avanzar de forma autónoma durante varios días seguidos, los modelos de código abierto ya están a la par del grupo de cabeza entre los modelos cerrados; Kimi K3, además, es el único representante open source entre los tres primeros.
Lo que marca la diferencia es la ejecución
El informe atribuye la diferencia entre modelos a la fase de ejecución: qué experimentos elegir, con cuánto cuidado llevarlos a cabo, cómo interpretar resultados ruidosos; cada uno de estos pasos amplía la brecha.
En concreto, los modelos con mejor desempeño, al obtener un resultado límite, primero lo repetían con tres semillas aleatorias y solo pasaban a la validación completa tras confirmar la estabilidad; también retomaban estudios de ablación, revisando direcciones antes descartadas como negativas. Algunos modelos incluso construyeron sus propios pipelines de gestión de experimentos y pequeños simuladores. Los modelos con peor desempeño, en cambio, solían ver mejoras que no existían dentro del ruido y seguían adelante con esa conclusión errónea.
Esta conclusión no resulta ajena a quienes trabajan en ingeniería. El obstáculo para ajustar hiperparámetros nunca ha estado en entender el artículo, sino en tener la paciencia de repetir tres veces un resultado positivo sospechoso.
El jarro de agua fría: nada nuevo
El informe incluye una frase autoirónica: los autores dicen que, una vez más, les sorprendió la falta de originalidad. En las 153 ejecuciones, las soluciones ganadoras usaron únicamente técnicas ya conocidas: precondicionamiento, programación de la tasa de aprendizaje, promediado de pesos; ningún modelo propuso un método que nadie hubiera probado antes.
Ese jarro de agua fría cae justo en el momento adecuado para el debate reciente sobre la autosuperación de la IA. Saber experimentar y saber proponer métodos nuevos son cosas distintas: lo primero ya puede automatizarse hasta el punto de funcionar ocho días sin supervisión humana; de lo segundo no hay rastro en estos datos.
Hasta dónde se puede generalizar este dato
Las limitaciones no son pocas. El propio speedrun de nanoGPT tiene de por sí una varianza alta, y el presupuesto computacional no permitió repeticiones suficientes por modelo para promediar resultados; los propios autores admiten que no pueden separar cuánto del resultado se debe a las particularidades de esta tarea concreta y cuánto refleja el techo real de cada modelo.
Una sola tarea, un solo campo, un harness fijo: nadie puede asegurar todavía si el ranking se invertiría en otra línea de investigación. Pero poner a 18 modelos en el mismo sandbox durante ocho días es una escala de experimento controlado y público que no existía antes; solo con exponer la varianza a plena luz ya resulta más útil que un montón de autoevaluaciones incomparables entre sí.
Fuentes: blog de investigación y repositorio de experimentos de Prime Intellect, CocoLoop, QbitAI; la clasificación del nanoGPT speedrun se usó para verificar el número de pasos y la línea base de cada modelo.