9 artículos verificados sobre Benchmarks de grandes modelos, productos y movimientos del sector.
ThinkingBox, de Microsoft y Hugging Face, repite cada tarea 20 veces para evaluar agentes de IA: ni el mejor modelo logra ser estable en más de la mitad de los casos.
Documento de OpenAI sobre GPT-6 Astra revela una fuerte caída en la monitoreabilidad de la cadena de razonamiento, con ataques a la cadena de suministro.
Fortune reveló que los datos de evaluación del GPT-6 Astra de OpenAI fueron editados varias veces tras su publicación, con la tasa de alucinaciones y las notas de matemáticas oscilando — solo quedan como prueba las capturas del archivo de internet.
El Fable 5.1 de Anthropic encabeza el índice general de Artificial Analysis con 66 puntos, pero completar toda la batería de pruebas costó 8523.16 dólares, con el precio por token sin cambios.
El laboratorio RDI de Berkeley publicó el benchmark Vero: agentes de IA escriben implementación y prueba formal en repositorios Lean 4, la mejor tasa de acierto por especificación llega al 87,3%, pero solo 27 de los 43 proyectos se resuelven por completo.
Una prueba de Hume AI con 11 modelos de ASR muestra que la tasa de error más baja suele coincidir con la mayor tasa de reproducción de errores del texto de referencia, una señal de alerta al elegir modelos de voz.
Alibaba prueba agentes con clasificacion de codigos HS se reescribe para lectores tecnologicos en espanol, conservando cifras clave, limites del producto y preguntas abiertas.
El benchmark de 750 tareas muestra que los modelos ayudan en ciencias de la vida, pero están lejos de investigar solos.
Un benchmark liderado por Shanghai Jiao Tong University muestra que los agentes hallan el archivo correcto, pero solo 14% a 19% de las líneas relevantes.