METR: Durasi tugas AI berlipat ganda tiap 3,6 bulan

AI security illustration: a shield sealing a red crack in a network

Lembaga evaluasi METR pada 20 November merilis pembaruan pengukuran kemampuan kuartal IV. Ada dua kesimpulan utama. Dengan gabungan kumpulan tugas lama dan baru, panjang tugas yang dapat diselesaikan secara mandiri oleh model terdepan berlipat ganda kira-kira setiap 3,6 bulan. Pada saat yang sama, kemampuan semacam ini makin sulit diukur secara akurat. Di bagian awal, laporan menyebut bukti publik yang ada belum cukup untuk menyingkirkan kemungkinan percepatan tajam dalam riset dan pengembangan AI dalam dua hingga tiga tahun ke depan.

Pengukuran kali ini mencakup 15 model, dari GPT-4o dan o1 hingga Fable 5.1, GPT-6 Astra, dan Opus 5.5.

27 jam, dan batas penerapannya

"Time horizon" (rentang waktu) versi METR mengukur seberapa lama manusia yang mahir mengerjakan sebuah tugas, yang dapat diselesaikan model secara mandiri dengan tingkat keberhasilan tertentu. Pada bagian kumpulan tugas baru TH2 yang hasilnya bisa diverifikasi secara otomatis, estimasi time horizon model terdepan yang tersedia untuk publik kini mencapai paling tinggi 27 jam.

Beberapa hasil konkret:

  • Dalam 15 kontes historis kompetisi algoritma AZsPCs (tiap kontes berlangsung sekitar tiga bulan dengan 97 hingga 413 peserta), median peringkat Fable 5.1, Opus 5.5, dan GPT-6 Astra berada pada persentil ke-96 hingga ke-98. Pada kontes median, hanya sekitar 4 peserta manusia yang berada di atas mereka.
  • Pada 3 tugas yang baseline manusianya berhasil diperoleh METR, model menang di semuanya.
  • Pada tugas percepatan pelatihan NanoGPT dengan anggaran terbatas, agen paling banter mencapai percepatan 15,7% dalam 48 jam, sedangkan rekor manusia terbaru dengan bantuan AI mencapai 41% dalam sekitar 60 jam.

Pola kekuatan dan kelemahannya cukup teratur. Pada tugas pemrograman dan optimasi dengan sinyal umpan balik yang jelas, model umumnya setara atau melampaui manusia yang mahir. Pada tugas yang menuntut pertimbangan dan tidak punya umpan balik eksperimen yang jelas, penilaian agen tampaknya masih di bawah pakar manusia. METR juga menemukan bahwa makin mahal biaya menjadikan sebuah tugas sebagai lingkungan pelatihan pembelajaran penguatan, makin buruk performa model, bahkan setelah panjang tugas dikendalikan.

Mengapa makin sulit diukur

Paruh kedua judul laporan berbunyi "makin sulit diukur", dan METR menyebut beberapa alasan.

Tugas tertembus terlalu cepat. Kumpulan tugas generasi sebelumnya, TH1.1, memiliki 222 tugas dengan durasi terpanjang 30 jam. Pada Maret 2025, model terbaik saat itu, Sonnet 3.7, hanya mampu mengerjakan tugas setara sekitar 1 jam, tetapi dalam kurang lebih setahun kumpulan soal ini sudah jenuh. TH2 yang baru hanya berisi 12 keluarga tugas dan 36 tugas.

Baseline manusia makin sulit didapat. METR membayar penguji baseline 200 hingga 350 dolar AS per jam, dan 7 percobaan baseline menghabiskan sekitar 90.000 dolar AS. Pada akhirnya hanya 9% estimasi durasi tugas yang didukung langsung oleh data pengukuran manusia, sisanya disimpulkan lewat prosedur estimasi. Penguji yang memenuhi syarat sulit dicari, dan mereka yang ditemukan pun sering kalah dari model.

Model memanfaatkan celah penilaian. Laporan menulis:

"We find that models still often engage in reward hacking." (Kami menemukan bahwa model masih sering melakukan reward hacking.)

Laporan menyebut secara khusus GPT-5.6 Sol lebih sering berbuat curang dibanding model terdepan lainnya. Eksekusi resmi yang diberi nilai nol setelah ditinjau manusia berjumlah sekitar 10 kali, atau kurang dari 0,1%.

Evaluasi berbasis kontainer berpotensi melebih-lebihkan kemampuan nyata. METR khawatir lingkungan evaluasi yang mudah dijalankan seperti miliknya terlalu mirip dengan lingkungan pembelajaran penguatan yang dipakai tiap perusahaan untuk pelatihan, sehingga hasil model di sini belum tentu berlaku pada pekerjaan nyata.

Apakah percepatan terjadi, data belum bisa memastikan

Hal yang paling disorot pihak luar adalah apakah pertumbuhan kemampuan sedang mengebut. Saat menilai Anthropic pada Oktober tahun ini, METR pernah mengutip satu angka: dengan Oktober 2025 sebagai titik batas, laju pertumbuhan eksponensial kemampuan sesudahnya adalah 1,9 kali lipat dibanding sebelumnya. Namun angka itu didasarkan pada model internal yang tidak dipublikasikan.

Kali ini dihitung ulang dengan model publik dan titik patah yang sama, perubahan kemiringan seluruh model terdepan publik adalah 1,10 kali, dengan interval kepercayaan 95% dari 0,59 hingga 1,91. Jika dipisah, Anthropic 1,26 kali dan OpenAI 0,94 kali, dengan interval yang sama-sama melintasi angka 1. Menurut METR, interval kepercayaannya "sangat lebar", dan pada model publik "tidak teramati percepatan yang jelas", sambil mengakui bahwa kesimpulan ini sangat sensitif terhadap pilihan metode.

Jika beberapa titik penting METR dalam dua tahun terakhir dihubungkan: pada Maret 2025, model terbaik berada di kelas 1 jam; setahun kemudian kumpulan soal dengan batas 30 jam jenuh; pada laporan ini, estimasi untuk tugas yang dapat diverifikasi adalah 27 jam, sementara baseline manusia yang menopang angka itu hanya mencakup kurang dari sepersepuluh tugas. Pembaruan alat ukur belum mengejar objek yang diukur.

Laporan juga mencantumkan cukup banyak keterbatasan. Tugas baru mencakup rekayasa perangkat lunak umum tidak seluas kumpulan soal lama. Penguji baseline belum tentu mewakili level karyawan laboratorium AI. Pemindaian tidak menemukan kasus model sengaja menurunkan performa, tetapi kasus yang belum terdeteksi tidak bisa dikesampingkan. Angka 3,6 bulan, untuk saat ini, hanya cocok dibaca sebagai indikator tren dengan batang galat yang lebar.

Sumber: laporan pembaruan pengukuran kemampuan kuartal IV METR, CocoLoop; siklus penggandaan, hasil tiap tugas, biaya baseline, dan interval kepercayaan kemiringan seluruhnya diambil dari isi laporan dan lampirannya, dan merupakan ukuran METR sendiri.