Ai2 luncurkan Theorizer, cari hipotesis dari makalah

Open source illustration: hands joining branches to a shared node tree

Allen Institute for AI (Ai2) pada 19 November meluncurkan Theorizer di platform riset Asta. Ini adalah agen yang merangkai temuan dari banyak makalah dan mengusulkan penjelasan untuk fenomena yang teramati. Kodenya dirilis sebagai sumber terbuka di GitHub pada saat yang sama.

Penggunaannya dimulai dari sebuah pertanyaan. Setelah mencari literatur, Theorizer lebih dulu membuat templat ekstraksi yang menentukan apa yang harus diambil dari tiap makalah. Dalam contoh Ai2, jika pengguna bertanya "bagaimana tumor membesar", templatnya bisa mencakup gen apa yang diteliti, bagaimana aktivitasnya diukur, dan apa yang terjadi setelah gen diubah. Setelah itu agen membandingkan temuan antarmakalah dan menghasilkan sejumlah teori. Setiap klaim ditautkan ke makalah sumbernya dan disertai cakupan penerapannya. Peneliti dapat mengklik kembali ke teks asli satu per satu untuk menilai apakah buktinya cukup dan apakah kondisi eksperimennya layak dibandingkan. Klaim yang dianggapnya baru diajukan diberi tanda tersendiri.

Tiga studi kasus, tanpa skor benchmark

Ai2 mengatakan alat ini disempurnakan bersama para ilmuwan selama hampir setahun. Yang dirilis kali ini adalah beberapa studi kasus, tanpa skor evaluasi benchmark apa pun.

Kasus pertama adalah adenokarsinoma paru. Sekitar 20% hingga 30% kasus tidak menunjukkan mutasi pemicu yang diakui, bahkan setelah pengurutan menyeluruh. Theorizer mengajukan tiga arah: perubahan genetik yang belum ditemukan sedang mengaktifkan sinyal RAS; ada mekanisme lain yang memungkinkan sel membelah tanpa melalui RAS; dan sebagian tumor mengambil ciri jenis sel lain. Peneliti Devarakonda bereaksi setelah membaca hasilnya:

"Wait a second, this is exactly what I think. And it took me 15 years to think like this."

(Tunggu sebentar, ini persis seperti yang saya pikirkan. Dan saya butuh 15 tahun untuk berpikir seperti ini.)

Tim kemudian memakai alat Ai2 lainnya, AutoDiscovery, untuk mengajukan kemungkinan rusaknya kompleks DREAM, dan melihat tanda awal yang mendukung ketergantungan pada CDK2. Ai2 menegaskan bahwa semua ini masih harus divalidasi lewat eksperimen.

Ahli saraf Lecoq bertanya tentang interneuron VIP. Ia semula mengharapkan satu atau dua teori kandidat, tetapi Theorizer mengembalikan 50 sekaligus.

Kasus ketiga terjadi di Peru. Palacios dan Juarez memakai dataset cuaca PISCO, dan salah satu penjelasan yang diberikan Theorizer kemudian dinilai keliru oleh keduanya. Namun untuk mengujinya, mereka memeriksa puncak suhu bulan November dan menelusurinya hingga ke sumber data: catatan titik embun berhenti pada 2016, sedangkan catatan suhu minimum berlanjut hingga 2020, sehingga ada selisih 4 tahun. Sebagian nilai hasil rekonstruksi melebihi 35°C dan terkonsentrasi pada bulan November. Dari mana puncak bulan November dalam catatan sumber itu berasal, keduanya masih mencocokkannya dengan data pengamatan dari stasiun independen, dan sejauh ini belum ada kesimpulan.

Lini Asta

Jika langkah Ai2 di Asta tahun ini dirangkai, pembagian tugas antaralat makin terperinci. Pada awal Oktober, Ai2 membuka sumber AstaBrief, model berparameter 8B yang khusus menulis literatur hasil pencarian menjadi laporan riset bersitasi, dengan waktu keluaran rata-rata yang disebutkan saat itu sebesar 51,1 detik. AstaBrief menempuh jalur model kecil dengan bobot terbuka. Alasan Ai2 adalah bahwa bukti terbaik yang dimiliki banyak ilmuwan berada di laporan internal yang tidak bisa dikirim ke laboratorium AI komersial. Theorizer melangkah satu tahap lebih jauh, dari merangkum kesimpulan yang sudah ada menjadi mengusulkan penjelasan yang bisa diuji.

Hambatan penggunaannya tidak tinggi. Alat ini bisa langsung dipakai di situs Asta, dengan biaya token ditanggung Ai2 tetapi dibatasi plafon. Untuk menjalankannya di mesin sendiri, pengguna bisa memakai pustaka yang dibuka dan membayar biaya token sendiri sesuai pemakaian. Lisensi yang dipakai kodenya tidak tertulis di halaman rilis, sehingga repositori GitHub menjadi acuan. Ai2 juga menjadwalkan lokakarya daring untuk para ilmuwan pada 10 Desember pukul 10.00 waktu Pasifik.

Ai2 sendiri mencantumkan dua keterbatasan: Theorizer mungkin melewatkan penelitian yang relevan, dan bisa keliru menilai orisinalitas, sehingga teori yang tampak baru dalam kumpulan makalah yang dianalisisnya mungkin sudah pernah diajukan di tempat lain. Berapa banyak klaim bertanda "baru" yang termasuk kasus ini tidak disertai statistik dari Ai2, sehingga peneliti tetap perlu membandingkannya dengan literatur yang lebih luas.

Sumber: CocoLoop, blog resmi Ai2, platform Asta, repositori GitHub Ai2; telah diverifikasi alur kerja Theorizer, proporsi dan data tahun dalam tiap studi kasus, waktu keluaran rata-rata AstaBrief, dan aturan biaya token versi web.