University of California, Berkeley pada 9 Oktober mengumumkan sebuah studi tentang bantuan AI dan ketekunan. Peserta yang mengerjakan soal dengan ChatGPT selama sekitar 10 menit, setelah alatnya diambil, akurasinya turun dan proporsi soal yang dilewati naik. Makalah berjudul "AI Assistance Reduces Persistence and Hurts Independent Performance" pertama kali diunggah ke arXiv pada April dan diperbarui ke versi kelima pada 3 Oktober. Versi yang telah melalui tinjauan sejawat diterbitkan di konferensi model bahasa COLM.
Penulisnya lima orang, termasuk peneliti di Center for Human-Compatible AI Berkeley, Brian Christian, penulis The Alignment Problem, serta kolaborator dari Carnegie Mellon, MIT, Oxford, dan UCLA.
Bagaimana ketiga eksperimen dijalankan
Peneliti merekrut 1.222 orang secara daring dan menjalankan tiga uji coba terkontrol acak. Dua yang pertama berupa hitungan pecahan, yang ketiga soal latihan pemahaman bacaan SAT. Setiap eksperimen terdiri dari dua tahap. Pada tahap latihan, satu kelompok boleh memakai AI sementara kelompok kontrol mengerjakan sendiri. Pada tahap tes berikutnya yang berisi 3 soal, tidak seorang pun boleh memakai AI.
Hasil berikut dihitung dari sampel setelah pengecualian:
| Eksperimen | Akurasi tes (kelompok AI / kontrol) | Tingkat lewat soal (kelompok AI / kontrol) |
|---|---|---|
| Soal pecahan 1 (307 orang) | 57% / 73% | 20% / 11% |
| Soal pecahan 2 (585 orang) | 71% / 77% | 10% / 7% |
| Pemahaman bacaan (168 orang) | 76% / 89% | 8% / 1% |
Selisih akurasi signifikan secara statistik di ketiga eksperimen. Selisih tingkat lewat soal signifikan pada eksperimen pertama dan ketiga, tetapi tidak pada yang kedua.
"You almost couldn't ask for a clearer story." (Hampir mustahil meminta hasil yang lebih jelas dari ini.)
Demikian Christian menggambarkannya dalam tulisan Berkeley. Ia menambahkan bahwa studi ini sebenarnya bukan soal pecahan atau SAT itu sendiri.
Cara memakai AI membuat perbedaan besar
Pada eksperimen kedua, kelompok AI melaporkan sendiri cara mereka memakai alat itu: 61% langsung meminta jawaban kepada AI, 27% hanya meminta petunjuk atau penjelasan, dan 12% nyaris tidak memakainya.
Mereka yang meminta jawaban mencatat akurasi tes 65% dan tingkat lewat soal 13%. Mereka yang hanya meminta petunjuk mencatat akurasi 76% dan tingkat lewat soal 5%, hampir sama dengan kelompok kontrol. Para penulis menegaskan bahwa ini adalah perbandingan kelompok post hoc dan tidak bisa dijadikan bukti kausal, karena cara orang memilih memakai AI bisa saja berkaitan dengan kemampuan atau kepribadian.
AI yang dipakai dalam studi ini sengaja diatur agar sebisa mungkin memberi jawaban lengkap. Apakah AI bergaya tutor atau Sokratik dapat mempertahankan manfaat bantuan tanpa melemahkan ketekunan, menurut para penulis adalah arah yang layak, tetapi ketiga eksperimen tidak menguji hal itu secara langsung. Dalam kesimpulan makalah, mereka menyebut langkah dari sisi pengguna seperti "pakai lebih sedikit" atau "beralih ke mode petunjuk" sebagai solusi sementara, dan berpendapat pengembang model sebaiknya memasukkan kemampuan jangka panjang pengguna ke dalam desain sejak awal.
Apa artinya bagi kelas dan orang tua di Tiongkok
Pelajar SD dan SMP di Tiongkok punya banyak pintu masuk untuk mengerjakan soal dengan AI: aplikasi pencari soal lewat foto, aplikasi pekerjaan rumah, dan asisten obrolan serbaguna, semuanya bisa memberi penyelesaian lengkap dalam satu langkah. Studi ini menguji persis mode "memberi jawaban lengkap" itu, dan hanya selama 10 menit.
Beberapa batasan perlu dijelaskan lebih dulu. Pesertanya orang dewasa yang direkrut daring di Amerika Serikat, dan soalnya berupa hitungan pecahan dasar serta bacaan standar, yang tidak sama dengan penggunaan pekerjaan rumah jangka panjang dan berfrekuensi tinggi. Tes dilakukan tepat setelah AI dicabut, sehingga tidak ada data tentang berapa lama efeknya bertahan. Ketiga eksperimen juga hanya melihat satu kali paparan; apakah pemakaian setiap hari akan menumpuk atau orang justru beradaptasi, kata para penulis, perlu dijawab dengan penelitian longitudinal.
Hal yang paling berguna bagi orang tua dan guru adalah selisih beberapa poin persentase antara "meminta petunjuk" dan "meminta jawaban" pada eksperimen kedua: dengan AI yang sama di tangan, cara bertanya yang berbeda menghasilkan performa yang berbeda setelah AI dicabut. Untuk saat ini itu baru korelasi, masih menunggu ada yang mengujinya lewat eksperimen terkontrol.
Sumber: siaran pers UC Berkeley, CocoLoop, makalah arXiv versi kelima; ukuran sampel, akurasi, tingkat lewat soal, dan proporsi laporan mandiri cara pemakaian dari ketiga eksperimen diperiksa pada teks makalah.