Anthropic bedah 207 ribu sesi riset: analisis data terbanyak

AI research illustration: a microscope over a red sample beside node diagrams

Tim riset ekonomi Anthropic merilis laporan pada 5 November yang mencatat untuk apa para peneliti menggunakan Claude. Sampelnya adalah 207.049 sesi pada paket konsumen yang ditandai terkait riset antara 2 Agustus dan 30 September. Dari jumlah itu, Claude (termasuk Chat dan Cowork) berjumlah 128.914 sesi dan Claude Code 78.135 sesi, ditambah sampel pelengkap dari Claude Science.

Klasifikasi memakai sistem SciNet yang dibangun sendiri oleh tim, mencakup 7.262 tugas, 34 disiplin ilmu, dan 318 subbidang. Menurut laporan, pengklasifikasi hanya mengeluarkan label disiplin dan tugas, tidak mengekstrak isi riset. Hasil hanya dipublikasikan dalam bentuk agregat, dan sel dengan jumlah akun di bawah ambang batas tidak dilaporkan.

Paling banyak dipakai untuk mengolah data dan menulis

Berdasarkan porsi sesi, analisis data mencakup 33,7% di Claude dan 48,1% di Claude Code. Penulisan dan komunikasi mencakup 32% di Claude dan 17,6% di Claude Code. Tugas tunggal yang paling umum adalah menulis naskah makalah, yakni 18,6% dari sesi Claude.

Jika angka-angka ini dibandingkan dengan pembagian waktu para peneliti, kesenjangannya jelas terlihat:

TugasClaudeClaude CodePorsi waktu riset
Analisis data33,7%48,1%27,6%
Penulisan dan komunikasi32,0%17,6%16,0%
Pengumpulan data11,5%11,9%28,6%
Ide dan hipotesis4,2%2,1%7,1%

Pengumpulan data memakan hampir sepertiga waktu peneliti, tetapi dalam sesi hanya sedikit di atas sepuluh persen, kemungkinan besar karena pengambilan sampel dan eksperimen menuntut kerja langsung. Perumusan ide dan hipotesis dinilai sebagai tahap terpenting oleh para ilmuwan yang disurvei (skor 35,6 dari 100), tetapi penggunaannya paling rendah.

Sebaran disiplin ilmu juga timpang. Peneliti ilmu komputer hanya 4,3% dari seluruh peneliti dunia, tetapi mencapai 32,7% dalam sesi Claude Code; peneliti subbidang AI dan pembelajaran mesin hanya 1,2% secara global, namun 15,2% di Claude Code. Disiplin eksperimental seperti kimia dan kedokteran lebih jarang memakainya. Laporan itu menyebutkan:

"In short, scientists appear to use AI where it works best." (Singkatnya, para ilmuwan tampaknya memakai AI di tempat yang paling ia kuasai.)

Menghitung seberapa besar percepatannya

Laporan memberikan estimasi dalam tiga skenario. Skenario pertama hanya mengandaikan kemampuan yang ada sekarang tersebar luas: AI dapat menangani 27% hingga 52% waktu riset, dengan median 38%, mempercepat keluaran antardisiplin sekitar 1,35 kali (seni) hingga 2,02 kali (statistik), ilmu komputer sekitar 1,96 kali, dan kimia sekitar 1,41 kali. Skenario ketiga mengandaikan AI mengerjakan seluruh langkah non-fisik, sehingga statistik, ilmu komputer, ekonomi, dan matematika bisa mencapai 15 hingga 16 kali, sedangkan biologi, kimia, dan material hanya 3 hingga 4 kali, karena langkah fisik menyita 38% hingga 41% waktu riset di bidang-bidang tersebut.

Asumsi biaya di balik kelipatan ini adalah: AI 30 dolar AS per jam, peneliti 95 dolar AS per jam, dan setiap satu jam peneliti yang dihemat membutuhkan AI bekerja 0,2 jam. Dengan hitungan kasar ini, menghemat satu jam tenaga manusia hanya menelan biaya AI sekitar 6 dolar AS, sehingga biaya nyaris bukan kendala. Hambatannya ada pada pekerjaan tangan di laboratorium. Laporan itu sendiri menulis, "Physical bottlenecks remain powerful."

Para penulis menegaskan bahwa skenario kedua dan ketiga adalah asumsi, bukan prediksi, dan estimasi tersebut belum memperhitungkan peralatan, reagen, dan kapasitas laboratorium. Klasifikasi dan estimasi durasi sama-sama dikerjakan model bahasa besar, sehingga angka di tingkat subbidang lebih berisik.

Pandangan para ilmuwan sendiri

Survei pendamping menghimpun jawaban dari 528 ilmuwan, sebagian besar dari ilmu hayati dan kesehatan, terkonsentrasi di Amerika Serikat dan Kanada, serta merupakan pendaftar program sains Anthropic, sehingga sampelnya cenderung condong ke pengguna yang antusias. Sebanyak 38% responden menilai AI kini sudah dapat menyamai peneliti terbaik dalam analisis data, dan memperkirakan angka itu menjadi 94% pada 2030. Sekitar empat dari sepuluh orang menilai pada 2030 AI mampu menyelesaikan satu proyek riset utuh secara mandiri, sementara 16% yakin hal itu tak akan pernah terjadi.

Profil pengguna Claude Science lebih spesifik: biomedis dan biologi bersama-sama lebih dari separuh, 82,7% sesi mencapai konten setingkat doktoral, dan 73,3% tergolong eksekusi dengan otonomi tinggi. Para pengguna ini memang lebih ahli, sehingga perbedaannya tidak bisa seluruhnya dikreditkan pada produk, dan laporan juga menulis demikian.

Sumber: laporan riset Anthropic “How researchers use Claude”, CocoLoop; sampel sesi, porsi tugas, sebaran disiplin, kelipatan percepatan tiga skenario, dan asumsi biaya telah diperiksa terhadap isi laporan, sedangkan angka survei mengikuti yang diungkapkan laporan.