Pada 26 Agustus, Anthropic mempublikasikan hasil sebuah program percontohan: membuka data penggunaan Claude yang sesungguhnya kepada tiga institusi luar untuk diteliti secara independen, lalu merilis kesimpulan gabungan dari ketiga proyek tersebut sekaligus.
Institusi yang terlibat adalah Social and Language Technologies Lab di Stanford University, Human Information Processing Lab di Oxford University, dan METR, sebuah lembaga evaluasi nirlaba. Sampel yang dianalisis berjumlah sekitar 250 ribu percakapan dari Claude.ai dan Claude Code sepanjang April hingga Mei 2026.
Peneliti tidak pernah melihat percakapan mentah
Secara prosedur, para peneliti sama sekali tidak pernah mengakses isi percakapan mentah. Mereka mengajukan analisis lewat alat Insights yang sama dengan yang dipakai staf internal Anthropic, dan hanya menerima kembali keluaran yang sudah teragregasi — keluaran itu pun harus lolos tinjauan hukum dan privasi sebelum bisa dibawa keluar. Cakupan tinjauan kontraktualnya dibatasi pada empat hal: privasi pengguna, pelanggaran kebijakan, informasi rahasia, dan akurasi riset — tidak termasuk apakah kesimpulannya menguntungkan perusahaan atau tidak.
Dari sisi privasi, Imperial College London secara terpisah menjalankan audit pihak ketiga. Data agregat dari ketiga proyek tersebut kini sudah dipublikasikan di Hugging Face Datasets dengan nama Anthropic/enabling-independent-research.
Perusahaan AI mempublikasikan wawasan penggunaan bukan hal baru — OpenAI maupun Anthropic sendiri sudah melakukannya beberapa kali. Yang berbeda kali ini adalah siapa yang memegang kendali atas metode analisisnya. Ketika vendor menulis laporannya sendiri, merekalah yang menentukan desain pertanyaan, cara mengiris sampel, dan definisi metrik, sehingga pihak luar hanya bisa memilih percaya atau tidak. Dengan menyerahkan alat dan datanya, setidaknya pihak ketiga punya peluang mengajukan pertanyaan yang tidak akan diajukan vendor kepada dirinya sendiri.
Tiga temuan yang bertentangan dengan anggapan umum
Pertama, soal bobot tugas. Riset-riset sebelumnya cenderung berasumsi bahwa orang kebanyakan melimpahkan pekerjaan berisiko rendah dan bertanggung jawab ringan ke AI. Data ini menunjukkan sebaliknya: lebih dari separuh percakapan melibatkan pendelegasian tugas yang punya konsekuensi nyata. Seperti disebutkan para peneliti, "People bring high-stakes work to AI more than expected" (orang membawa pekerjaan berisiko tinggi ke AI lebih banyak dari perkiraan).
Kedua, soal kendali. Pada tiga perempat percakapan, manusia berada di posisi yang mengarahkan dan model berperan membantu — bukan model yang menjalankan tugas sendirian dari awal sampai akhir. Ini berbeda jauh dari narasi populer bahwa "agen AI sedang mengambil alih pekerjaan".
Ketiga, soal friksi. Para peneliti menemukan bahwa kebuntuan dalam kolaborasi manusia-AI adalah hal yang lumrah, tetapi friksi semacam itu biasanya produktif — setelah ditolak atau dikoreksi oleh model, pengguna cenderung menyusun ulang cara mereka menyampaikan kebutuhannya.
Ada satu angka lagi yang patut dicatat: percakapan yang masuk kategori pelanggaran kebijakan kurang dari 5% dari total. Angka ini masih terbuka untuk diperdebatkan, karena kriteria penilaiannya tetap ditentukan sepihak oleh Anthropic — peneliti luar hanya menerima hasil setelah klasifikasi selesai dilakukan.
Makna praktisnya
Bagi tim mana pun yang sedang mendorong adopsi AI di perusahaan, pertanyaan yang paling sering muncul adalah pekerjaan mana yang sebenarnya bisa diserahkan ke model. Data publik yang tersedia untuk menjawab itu selama ini sebagian besar berasal dari materi pemasaran vendor sendiri, dengan sampel, definisi, dan motif yang tidak transparan. Dataset ini berada di repositori publik — granularitasnya memang kasar, tapi setidaknya menawarkan titik acuan yang tidak ditulis oleh tim penjualan.
Ada satu catatan penting: 250 ribu percakapan ini berasal dari pengguna Claude.ai dan Claude Code, populasi yang cenderung condong ke pengembang dan konteks berbahasa Inggris. Menerapkan kesimpulannya secara langsung ke pasar lain atau konteks bisnis non-teknis berisiko menyesatkan — lebih tepat dipakai sebagai bahan pembanding, bukan sebagai kesimpulan final.
Setelah program percontohan ini, Anthropic belum menyatakan apakah mekanisme ini akan dijadikan rutin, dan belum mengumumkan institusi mitra berikutnya. Satu detail menarik: METR biasanya mengerjakan evaluasi kapabilitas model, bukan studi penggunaan. Ketika lembaga yang sama melihat sisi kapabilitas sekaligus sisi penggunaan nyata, ini jadi pergeseran posisi yang cukup berarti bagi pengawasan eksternal terhadap sistem AI.
Sumber: Anthropic Research Blog, CocoLoop, Hugging Face Datasets; jumlah sampel, daftar institusi yang terlibat, dan pengaturan audit privasi telah diverifikasi terhadap pengumuman resmi.