El instituto de investigación en IA Epoch AI publicó el 26 de octubre una serie de experimentos internos: entregó a modelos de frontera el trabajo que su equipo hace de verdad en el día a día y lo puntuó con el mismo estándar con el que se evalúa a los empleados humanos. Los mejores resultados fueron los de Claude Fable 5.1 y GPT-6 Astra, con una media del 65 %.
"A 65% score is still a failed task."
(Una tarea con 65 puntos sigue siendo una tarea fallida.)
Los autores del artículo son Kelly Hong, Greg Burnham y Lynette Bye, y el texto resume la nueva serie de «informes de automatización» de Epoch.
El asunto tiene antecedentes. El investigador sénior de Epoch Anson Ho ya había probado antes a dejar que la IA asumiera su propio trabajo; entonces la IA no pudo completar todas las tareas, y su valoración fue que la situación cambiaría antes de que acabe esta década. Esta vez, la prueba individual se amplió a la lista de tareas de todo el equipo, con una rúbrica unificada, y los modelos participantes pasaron a ser los seis más potentes del momento.
Cómo fue la prueba
Las tareas proceden del trabajo cotidiano de los empleados de Epoch y abarcan cinco categorías, entre ellas diseño gráfico, planificación de proyectos de investigación, programación y análisis de datos. Los modelos tenían que reunir contexto por su cuenta, invocar herramientas y resolver las distintas complicaciones de cada tarea. La puntuación depende de cuántos puntos de la rúbrica cumple el resultado, una rúbrica que se creó originalmente para evaluar a empleados humanos.
Epoch reconoce que esto da mucho más trabajo que ejecutar un benchmark estándar, pero a cambio se acerca más al trabajo real. El artículo no indica el número total de tareas.
La distribución de los resultados sigue un patrón claro: en las tareas bien delimitadas, como escribir código o analizar datos, los modelos rinden bien; en las abiertas, como inferir reglas a partir de unos pocos ejemplos o trabajos que exigen tomar decisiones, se ven claramente en apuros. Cuando se les pide proponer líneas de investigación, las ideas aún resultan útiles; pero al convertir esa línea en un plan experimental ejecutable, los problemas aparecen con facilidad.
En un experimento piloto, GPT-6 Astra fijó un presupuesto de tokens demasiado bajo, de modo que el 22 % de las ejecuciones no devolvió respuesta; sin embargo, incluyó esos fallos en sus conclusiones como un «hallazgo importante sobre la capacidad del modelo», sin darse cuenta de que el error estaba en su propia configuración.
Frente a las puntuaciones de los benchmarks estándar
Esos mismos dos modelos suelen lucir mucho mejor en las clasificaciones públicas de cada empresa. GPT-6.1 Terra, recién lanzado por OpenAI, completa el 50,3 % de las tareas en el nivel más alto de Terminal-Bench 4.0 y ya se ha presentado como un gran avance; los benchmarks de manejo de ordenador como Agents' Last Exam u OSWorld también recurren cada vez más a la «tasa de finalización» para contar su historia.
El 65 % de Epoch no se puede convertir directamente a esas puntuaciones. El primero es la «proporción de puntos de la rúbrica cumplidos»; las segundas son, en su mayoría, la «proporción de problemas resueltos por completo». Epoch advierte expresamente en el texto: un 65 % no significa que dos tercios del trabajo estén ya automatizados; la puntuación puede venir sobre todo de criterios fáciles de conseguir, y en tiempo empleado y dificultad, cubrir el 65 % de los criterios está lejos de equivaler a un 65 % de avance.
"Every one of those tasks would be rejected or revised if a human had submitted it."
(Cada una de esas tareas habría sido rechazada o devuelta para su revisión si la hubiera entregado una persona.)
También hay un cambio práctico: Epoch ha retirado del conjunto de pruebas una tarea básica de generación de gráficos, porque Fable 5.1 suele dibujar un gráfico aceptable a la primera, y el equipo ya deja que la IA asuma parcialmente ese paso.
Los autores opinan que, con cada generación de modelos, más tareas cruzarán la línea del «100 % aceptable»; solo entonces los humanos las entregarán de verdad a la IA, y solo entonces empezará a notarse el impacto económico. Epoch tiene previsto seguir, una a una, qué tareas la cruzarán primero en sus próximos informes.
Fuentes: columna de investigación de Epoch AI, CocoLoop, anuncio de producto de OpenAI; la explicación de la rúbrica de Epoch sirvió para contrastar el criterio estadístico de la puntuación del 65 %.