9 artikel terverifikasi tentang Benchmark model besar, produk, dan perkembangan industri.
Benchmark ThinkingBox dari Microsoft dan Hugging Face menjalankan 18 model AI sebanyak 20 kali untuk tiap tugas, dinilai dari hasil nyata di database, bukan laporan selesai dari agen itu sendiri.
Dokumen keamanan Astra dari OpenAI: keterpantauan rantai pemikirannya turun tajam dibanding GPT-5.6 Sol, dengan angka baru dari UK AI Security Institute.
Setelah OpenAI merilis blog GPT-6 Astra, angka di tabel benchmark diedit berkali-kali: tingkat halusinasi Astra sempat turun dari 4.2% ke 2% lalu kembali ke 4.2%, skor pesaing juga diubah.
Fable 5.1 menempati posisi pertama dari 192 model dengan skor 66, namun biaya per tugas naik dari $3.14 menjadi $3.69.
Benchmark baru Vero dari Berkeley RDI Lab menguji agen AI menulis kode sekaligus bukti formal di seluruh repositori Lean 4 — model terbaik pun hanya berhasil menyelesaikan 27 dari 43 proyek secara penuh.
Eksperimen diagnostik Hume AI terhadap 11 model pengenalan suara terkemuka menemukan bahwa model dengan skor benchmark tertinggi justru paling sering mengulang teks referensi yang salah, bukan mendengar audio secara akurat.
Alibaba uji agen lewat klasifikasi HS Code disusun ulang untuk pembaca teknologi Indonesia dengan angka utama, klaim produk, dan pertanyaan terbuka tetap dipertahankan.
Benchmark 750 tugas menunjukkan model terdepan bisa membantu sains hayati, tetapi belum siap bekerja mandiri.
Benchmark yang dipimpin Shanghai Jiao Tong University menunjukkan agen sering menemukan file benar, tetapi baris kunci bug hanya tepat sekitar 14% hingga 19%.