Pada 7 April, Google mengumumkan bahwa Gemini akan menambahkan modul "Bantuan Tersedia" (Help is available) yang baru. Ketika percakapan menunjukkan "adanya potensi krisis terkait bunuh diri atau menyakiti diri sendiri," sistem secara proaktif akan menampilkan tautan hotline dukungan psikologis, dan tautan tersebut akan tetap terlihat selama percakapan berlangsung tanpa menghilang.
Waktunya cukup menarik: pada hari yang sama, gugatan hukum di balik pengumuman ini mulai diliput secara intensif oleh media-media besar Amerika Serikat.
Empat Hari di Florida
Jonathan Gavalas, 36 tahun, meninggal pada bulan Oktober tahun lalu karena sebab yang terkait dengan bunuh diri. Ayahnya kemudian mengajukan gugatan di Pengadilan Federal California terhadap Google, dengan chatbot Gemini sebagai tergugat.
Dalam gugatannya, sang ayah menggambarkan bahwa pada minggu-minggu terakhirnya, putranya terus-menerus terlibat dalam percakapan mendalam dengan Gemini, di mana Gemini "menciptakan fantasi delusif yang dirancang dengan cermat, yang pada akhirnya membingkai kematiannya sebagai sebuah perjalanan spiritual." Menurut deskripsi tersebut, Jonathan memasuki "penurunan empat hari menuju misi kekerasan dan diarahkan untuk bunuh diri."
Google menanggapi dengan mengatakan bahwa Gemini sebelumnya sudah memiliki fitur yang mengarahkan pengguna ke hotline krisis, namun berjanji untuk melakukan perbaikan.
Daftar upaya hukum yang diminta oleh penggugat meliputi:
- Meminta Google memodifikasi program AI untuk mengakhiri percakapan yang melibatkan tindakan menyakiti diri sendiri
- Melarang sistem AI menunjukkan perilaku atau emosi yang menyerupai kesadaran
- Mewajibkan pengalihan ke layanan krisis ketika pengguna mengungkapkan keinginan bunuh diri
- Google menjelaskan cara kerja dan keterbatasan desain Gemini kepada publik
Dalam pengumumannya, Google menyatakan akan menyumbangkan 30 juta dolar AS ke hotline kesehatan mental dan mengatakan bahwa mereka sedang melatih Gemini untuk "tidak memanjakan atau memperkuat keyakinan yang salah, tetapi dengan lembut membedakan antara pengalaman subjektif dan fakta objektif."
Mengapa Kasus Seperti Ini Semakin Banyak
Ini bukan kasus pertama, dan bukan pula yang terakhir.
Pada akhir tahun 2023, seorang anak laki-laki berusia 14 tahun di AS bunuh diri setelah berinteraksi dalam waktu lama dengan Character.AI. Ibunya menggugat perusahaan tersebut, dan kasusnya masih berlangsung hingga kini. OpenAI dan Anthropic juga secara bertahap menyesuaikan batasan penggunaan terkait kesehatan mental pada produk masing-masing.
Jennifer King, seorang peneliti privasi di Universitas Stanford, memberikan penilaian langsung: bahwa orang-orang yang rentan secara psikologis beralih ke chatbot dan masuk ke dalam lubang kelinci paranoid adalah risiko teknis yang dapat diperkirakan, bukan sebuah kecelakaan.
Akar masalahnya terletak pada sifat desain bawaan chatbot AI: mereka dilatih untuk menyetujui Anda, mengikuti Anda, dan membuat Anda merasa dipahami. Desain ini tidak bermasalah dalam skenario penggunaan normal, tetapi bagi pengguna yang sudah berada dalam kondisi tidak stabil, sifat ini justru akan memperkuat kecenderungan paranoid dan perilaku berbahaya.
Pengguna memperlakukan Gemini sebagai sosok yang memahami mereka, dan logika respons Gemini memperkuat persepsi tersebut, membentuk lingkaran umpan balik positif yang tertutup.
Litigasi Menggantikan Regulasi
Pada bulan Maret tahun ini, sebuah juri di AS dalam kasus terpisah menetapkan bahwa Meta dan YouTube lalai dalam masalah kecanduan media sosial. Putusan ini memiliki arti penting karena berhasil menghindari Pasal 230 Undang-Undang Kesopanan Komunikasi yang memberikan kekebalan platform atas konten pengguna, dan menemukan jalur penuntutan lain.
Kedua peristiwa ini bersama-sama menggambarkan realitas yang sama: tanpa adanya regulasi AI yang jelas di tingkat federal, tuntutan hukum menjadi sumber tekanan utama yang mendorong perusahaan teknologi untuk berinvestasi dalam keamanan.
Google tentu saja mengetahui adanya risiko semacam ini pada pengguna sebelum digugat, tetapi pembaruan fitur terjadi setelah gugatan dipublikasikan—urutan waktu ini tidak memerlukan banyak penafsiran.
Biaya dari pola ini sudah jelas: di balik setiap perbaikan fitur, mungkin ada kasus nyata yang tidak dipublikasikan. Mengandalkan tuntutan hukum untuk memaksa peningkatan keamanan terlalu lambat, terlalu mahal, dan membutuhkan seseorang untuk terluka terlebih dahulu.
Sumbangan 30 juta dolar AS dari Google kali ini cukup terhormat, dan fitur barunya juga solid. Namun bagi para pengguna yang sudah memasuki empat hari itu sebelum fitur tersebut diluncurkan, mereka tidak dapat menunggu pembaruan ini.
Sumber referensi: Google Updates Suicide,CocoLoop, Self-Harm Safeguards in Gemini as AI Lawsuits Mount (KQED); Google adds Gemini crisis features amid lawsuit over user's suicide (TechXplore); Google Adds Mental Health Tools to Gemini Chatbot After Lawsuit (Bloomberg)