Según una investigación de Fortune publicada el 4 de septiembre, después de que se publicara la entrada de blog que presentaba el modelo GPT-6 Astra de OpenAI, los datos de evaluación de la página fueron modificados en varias ocasiones, y algunos indicadores se cambiaron para luego volver a su valor original.
La cronología puede reconstruirse cotejando las capturas del Internet Archive. El 3 de septiembre, a las 14:00 hora del este de EE. UU., la entrada se publicó por primera vez y luego se retiró; a las 14:23 quedó registrada la primera captura; a las 15:32 la cuenta de OpenAI en X publicó un enlace que estaba roto; a las 15:50 Sam Altman lo compartió; en la sexta captura, a las 17:20, los números de la tabla ya habían cambiado. El 4 de septiembre, las cifras siguieron moviéndose.
Qué se cambió exactamente
La columna de tasa de alucinaciones fue la que cambió de forma más visible. Astra pasó del 4,2% al 2,0% y luego volvió al 4,2%; el modelo de referencia GPT-5.6 Sol pasó del 12,2% al 9,4% y también regresó al 12,2%. Con la bajada y el regreso, la posición relativa entre ambos modelos no cambió, pero la versión intermedia que circuló en capturas de pantalla redujo la diferencia entre ellos a menos de la mitad.
En la columna de matemáticas, lo que se modificó fueron las notas de otros modelos. En FrontierMath Tier 4 v2, el resultado propio de Astra, 97,6%, no cambió en ningún momento; la nota de Fable 5.1, de Anthropic, se ajustó del 87,8% al 78% y finalmente quedó en 83%; la de GPT-5.6 Sol se ajustó del 83% al 80,5% y luego también volvió al 83%. En un momento dado, la nota del competidor llegó a recortarse casi 10 puntos porcentuales.
En ciberseguridad, la nota de GPT-5.6 Sol en ExploitBench se ajustó al alza, del 5,5% al 11,5%. Si este dato también se revirtió después, Fortune señaló que aún lo estaba verificando en el momento de la publicación del reportaje.
Además, el resultado de ARC-AGI-3 en la versión previa al embargo era del 98,6%, pero en la publicación oficial figuró como 99,99%; en el apartado de programación hubo un pequeño cambio, del 57,7% al 57,9%.
Un portavoz de OpenAI respondió: "We care deeply about getting evaluations right. Most evaluations have noise within a few percentage points..." (nos importa profundamente hacer bien las evaluaciones; la mayoría de las evaluaciones ya tienen de por sí un margen de ruido de unos pocos puntos porcentuales).
Los investigadores externos no coinciden del todo. Anka Reuel y Mike Hardy afirmaron: "This can be done in a very tight timeframe, and it's better for their marketing." (esto puede hacerse en un plazo muy ajustado, y les conviene más de cara a su marketing). Vincent Sunn Chen, de Snorkel AI, en cambio, se inclina por una explicación más operativa: "It's usually a function of final launch logistics." (suele ser resultado de la logística de última hora antes del lanzamiento).
En qué condiciones se obtuvieron estas cifras
Al pie de la entrada de blog hay un aviso: "Evaluation scores are the maximum at any effort" — las cifras corresponden al mejor resultado obtenido con cualquier nivel de esfuerzo computacional. El peso de esta frase es mayor que el de cualquier cambio hecho en la tabla.
ARC-AGI-3 ilustra bien la magnitud de esa diferencia. Según mediciones propias de la Arc Prize Foundation, con un harness (capa de orquestación) potente el resultado llega al 99,9%; con un harness estándar, cae hasta solo el 63%. El mismo modelo, el mismo conjunto de preguntas, una diferencia de 36 puntos porcentuales que depende únicamente de esa capa externa de código de orquestación.
Para los lectores que siguen este tema a través de comunidades de habla china, esta capa de información suele perderse en la difusión. Cuando la tabla de resultados llega hasta allí, casi siempre solo quedan los números y las capturas de clasificación, sin la configuración del harness, el nivel de esfuerzo ni la versión de la evaluación. Mientras tanto, lo que realmente experimenta el usuario común es ChatGPT o la API en su configuración predeterminada ya empaquetada como producto, muy lejos de ese "valor máximo con cualquier nivel de esfuerzo".
Fortune también menciona que la system card de OpenAI carece de documentación metodológica detallada, lo que dificulta que terceros reproduzcan los resultados. Quién impulsó exactamente estas rondas de cambios y con qué criterio no queda claro en el material público disponible, y la respuesta de OpenAI tampoco abordó ese punto.
Lo único verificable son los archivos
La única prueba sólida en este caso son las seis capturas del Internet Archive. Demuestran que las cifras cambiaron, cuándo cambiaron y a qué valores, pero no demuestran el motivo detrás de ello.
Tratar la tabla de evaluación publicada el día del lanzamiento como un hecho periodístico citable es la práctica habitual del sector. El caso de Astra demuestra que, al citarla, lo más prudente es indicar también el momento exacto en que se consultó.
Fuentes: Fortune, CocoLoop, Arc Prize Foundation, blog oficial de OpenAI; Fortune verificó los horarios de cada captura y los cambios sucesivos en las cifras de tasa de alucinaciones, FrontierMath, ExploitBench y ARC-AGI-3, y la página del blog de OpenAI confirmó el texto original del aviso sobre el criterio de cálculo de las cifras.