Satu Halaman Beracun Bikin AI Rekomendasikan Produk Palsu 27%
Benchmark baru FORGE menemukan bahwa meracuni satu halaman hasil pencarian saja bisa membuat AI merekomendasikan produk palsu hingga 27% dari waktu.
Berita dan Analisis Benchmark
4 artikel terverifikasi tentang Benchmark, produk, dan perkembangan industri.
OpenAI uji nalar biologi, GPT-5.6 baru lolos 31,5%
GeneBench-Pro memakai data biologi yang kotor untuk menguji keputusan riset model, bukan sekadar hafalan soal.
Gemini 3.1 Pro Raih 12 Peringkat Pertama dari 18 Tolok Ukur
Google DeepMind merilis Gemini 3.1 Pro yang unggul di 12 dari 18 tolok ukur utama yang dilacak, dengan skor 77,1% di ARC-AGI-2. Model ini menggandakan kemampuan penalaran dibanding pendahulunya, menambahkan level berpikir MEDIUM, dan mendukung konteks 1 juta token, namun masih tertinggal dari GPT-5.4 Pro dan Claude Opus 4.6 dalam skor komposit dan tugas pengkodean.
Apa yang Sebenarnya Diukur oleh SWE-bench
SWE-bench telah menjadi tolok ukur standar untuk kemampuan coding AI, tetapi memahami apa yang diuji—dan apa yang tidak—sangat penting untuk menafsirkan skor dengan benar.