Lembaga riset AI Epoch AI pada 26 Oktober merilis serangkaian eksperimen internal: pekerjaan yang benar-benar dikerjakan tim mereka setiap hari diserahkan kepada model terdepan, lalu dinilai dengan standar yang sama seperti yang dipakai untuk menilai karyawan manusia. Hasil terbaik diraih Claude Fable 5.1 dan GPT-6 Astra, dengan rata-rata 65%.
"A 65% score is still a failed task."
(Tugas dengan skor 65 tetaplah tugas yang gagal.)
Penulis artikel ini adalah Kelly Hong, Greg Burnham, dan Lynette Bye, dan isinya merupakan ringkasan dari seri baru Epoch bertajuk "laporan otomatisasi".
Eksperimen ini punya pendahulu. Peneliti senior Epoch, Anson Ho, sebelumnya pernah mencoba menyerahkan pekerjaannya sendiri kepada AI. Waktu itu AI tidak mampu menyelesaikan semua tugas, dan penilaiannya, keadaan akan berubah sebelum dekade ini berakhir. Kali ini uji coba pribadi tersebut diperluas menjadi daftar tugas seluruh tim, dengan rubrik penilaian yang seragam, dan model yang diuji diganti dengan enam model terkuat saat ini.
Cara pengujiannya
Tugas-tugasnya berasal dari pekerjaan sehari-hari staf Epoch dan mencakup lima kategori, termasuk desain grafis, perencanaan proyek riset, pemrograman, dan analisis data. Model harus mengumpulkan konteks sendiri, memanggil alat, dan menangani berbagai kerepotan yang melekat pada tiap tugas. Penilaiannya melihat berapa banyak butir dalam rubrik yang dipenuhi oleh hasil kerja, dan rubrik itu memang dibuat untuk menilai karyawan manusia.
Epoch mengakui cara ini jauh lebih merepotkan daripada menjalankan benchmark standar, tetapi keuntungannya lebih dekat dengan pekerjaan nyata. Artikel tidak menyebutkan jumlah total tugas.
Pola hasilnya cukup jelas. Pada tugas dengan batas yang tegas, seperti menulis kode dan menganalisis data, model bekerja cukup baik. Pada tugas terbuka, seperti menarik pola dari beberapa contoh atau pekerjaan yang menuntut pengambilan keputusan, model jelas kewalahan. Diminta mengusulkan arah riset, gagasan yang muncul masih cukup berguna; begitu arah itu harus dijabarkan menjadi rencana eksperimen yang bisa dijalankan, masalah mudah muncul.
Dalam satu eksperimen percontohan, GPT-6 Astra menetapkan anggaran token terlalu rendah sehingga 22% proses tidak mengembalikan jawaban. Namun model itu menuliskan kegagalan tersebut dalam kesimpulannya sebagai "temuan penting tentang kemampuan model", tanpa menyadari bahwa kesalahannya ada pada pengaturannya sendiri.
Bila disandingkan dengan skor benchmark standar
Dua model yang sama itu biasanya terlihat jauh lebih bagus di papan peringkat publik yang dirujuk masing-masing pembuatnya. GPT-6.1 Terra yang baru dirilis OpenAI menyelesaikan 50,3% tugas di Terminal-Bench 4.0 pada pengaturan tertinggi, dan itu saja sudah dipromosikan sebagai lompatan besar. Benchmark pengoperasian komputer seperti Agents' Last Exam dan OSWorld juga makin sering bercerita lewat "tingkat penyelesaian".
Angka 65% dari Epoch tidak bisa dikonversi langsung ke skor-skor tersebut. Yang pertama adalah proporsi butir rubrik yang terpenuhi, sedangkan yang terakhir umumnya proporsi soal yang dijawab benar secara utuh. Epoch secara khusus mengingatkan dalam artikelnya: 65% tidak berarti dua pertiga pekerjaan sudah diotomatisasi, skor itu mungkin sebagian besar berasal dari butir yang mudah didapat, dan dari sisi waktu serta tingkat kesulitan, cakupan 65% butir masih jauh dari kemajuan 65%.
"Every one of those tasks would be rejected or revised if a human had submitted it."
(Setiap tugas itu akan ditolak atau diminta direvisi seandainya diserahkan oleh manusia.)
Ada pula satu perubahan praktis: Epoch sudah mengeluarkan satu tugas dasar pembuatan grafik dari set uji, karena Fable 5.1 pada umumnya bisa menghasilkan grafik yang layak dalam sekali coba, dan tim kini sudah menyerahkan langkah itu sebagian kepada AI.
Pandangan para penulis, setiap kali model meningkat satu putaran, makin banyak tugas yang melewati garis "100% layak". Baru pada saat itulah manusia mau melepaskannya ke AI, dan dampak ekonominya mulai terlihat sejak itu. Tugas mana yang akan melewati garis lebih dulu, akan dilacak Epoch satu per satu dalam laporan-laporan berikutnya.
Sumber: kolom riset Epoch AI, CocoLoop, pengumuman produk OpenAI; keterangan rubrik penilaian Epoch untuk memverifikasi cara penghitungan skor 65%.