AI diagnostik percakapan milik Google, AMIE, kini punya hasil studi prospektif pertama dari klinik rawat jalan yang nyata. Makalahnya terbit di jurnal utama The Lancet pada 8 Oktober, dan Google menyebut ini pertama kalinya perusahaan itu menerbitkan makalah di edisi utama jurnal tersebut. CEO DeepMind, Demis Hassabis, kemudian menyampaikan ucapan selamat secara terbuka di media sosial.
Studi ini dilakukan di klinik perawatan primer darurat Beth Israel Deaconess Medical Center (BIDMC) di Boston, Amerika Serikat. Pendaftaran peserta berlangsung dari April hingga November 2025. Studi didaftarkan lebih dulu di ClinicalTrials.gov dan dijalankan sesuai protokol yang disetujui komite etik, dan pasien diberi tahu bahwa ikut atau tidaknya mereka tidak memengaruhi perawatan selanjutnya.
Cara kerjanya
Alurnya begini: sebelum bertemu dokter, pasien lebih dulu mengobrol dengan AMIE lewat teks, dan AMIE mengumpulkan riwayat penyakit lalu merangkumnya. Di setiap percakapan, seorang dokter memantau secara langsung, dan studi telah menetapkan sebelumnya standar keamanan yang mewajibkan percakapan dihentikan. Delapan minggu kemudian, peneliti meninjau kembali rekam medis untuk memastikan diagnosis akhir pasien, lalu membandingkannya dengan penilaian yang diberikan AMIE saat itu.
Angka-angka utamanya:
- 114 pasien terdaftar, 98 menyelesaikan percakapan;
- Tidak ada satu pun percakapan yang memicu penghentian keamanan;
- Dokter pengawas mencatat 1 halusinasi, dan pada 5 percakapan lainnya dokter menambahkan informasi klinis;
- Diagnosis akhir muncul di daftar diagnosis banding AMIE pada 90% kasus, dan masuk tiga teratas pada 75% kasus.
Ada juga masukan dari sisi dokter. Dari 98 kasus, dokter perawatan primer mengisi kuesioner pada 60 kasus. Pada 44 di antaranya mereka sempat membaca catatan percakapan AMIE sebelum pemeriksaan, dan 33 kasus dinilai membantu persiapan konsultasi.
Perhatikan penyebutnya
Angka-angka ini berasal dari sampel kecil, sehingga cara membacanya perlu berbeda. Penyebut untuk 90% maupun 75% sama-sama kurang dari 100 pasien. Untuk penilaian dokter bahwa AMIE “membantu”, hitungan kasarnya hanya punya penyebut 44 kasus: 33 dibagi 44 persis 75%, dan setiap kasus yang bertambah atau berkurang menggeser persentase lebih dari dua poin.
Hal yang sama berlaku untuk nol penghentian. Tidak ada masalah dalam 98 percakapan, tetapi dengan “aturan tiga” (rule of three, 3 dibagi jumlah sampel) yang lazim dipakai dalam statistik, jumlah sampel ini hanya cukup untuk menunjukkan bahwa laju kejadian keamanan serius kira-kira berada di sekitar 3% atau lebih rendah. Tingkat risiko yang lebih rendah belum bisa disingkirkan dengan sampel sebanyak ini. Para peneliti sendiri menyebut pekerjaan ini sebagai studi kelayakan, dan tidak ada kelompok kontrol.
Ada pula angka lain yang kurang menguntungkan AMIE. Studi membandingkan rencana tata laksana dari AMIE dengan rencana dokter perawatan primer dalam penilaian buta, dan pada dua aspek, yaitu apakah rencananya praktis dan apakah hemat biaya, AMIE kalah dari dokter. Mendaftar kemungkinan penyakit dan memutuskan langkah berikutnya memiliki tingkat kesulitan yang jauh berbeda.
Keterbatasan dan langkah berikutnya
Keterbatasan yang dicantumkan dalam makalah antara lain satu pusat studi, interaksi hanya berbasis teks, sekitar seratus pasien, dan tanpa kelompok kontrol. Sikap Google adalah bahwa AI yang berhadapan langsung dengan pasien perlu dievaluasi dalam skala besar, dan itu membutuhkan uji klinis yang lebih besar.
Pracetak studi ini sudah diunggah ke arXiv pada 9 Maret tahun ini, dan Google juga menulis pengantar rinci pada 11 Maret. Yang baru kali ini adalah telaah sejawat dan penerbitan resmi. Dari perbandingan AMIE dengan dokter dalam konsultasi simulasi pada 2024 hingga masuk ke klinik nyata kali ini, Google mengikuti urutan simulasi dulu, lalu pasien sungguhan dalam skala kecil, dan terakhir uji coba besar. Kapan dan di mana langkah ketiga dimulai belum diumumkan perusahaan.
Sumber: The Lancet, blog Google Research, CocoLoop, Beth Israel Deaconess Medical Center; abstrak makalah dan pengumuman rumah sakit digunakan untuk memverifikasi jumlah pendaftar, jumlah percakapan selesai, jumlah kejadian keamanan, dan dasar penghitungan akurasi diagnosis.