Vào ngày 7 tháng 4, Google thông báo sẽ thêm một mô-đun "Trợ giúp đã sẵn sàng" (Help is available) vào Gemini. Khi cuộc trò chuyện cho thấy "có nguy cơ tiềm ẩn liên quan đến tự tử hoặc tự làm hại bản thân", hệ thống sẽ chủ động hiển thị lối vào đường dây trợ giúp tâm lý khẩn cấp và lối vào này sẽ luôn hiển thị trong suốt cuộc trò chuyện, không biến mất.
Thời điểm hơi tế nhị: Cùng ngày hôm đó, vụ kiện đằng sau thông báo này cũng bắt đầu được các phương tiện truyền thông lớn của Mỹ đưa tin dày đặc.
Bốn ngày ở Florida
Jonathan Gavalas, 36 tuổi, qua đời vào tháng 10 năm ngoái, nguyên nhân cái chết liên quan đến tự tử. Cha của anh sau đó đã kiện Google tại Tòa án Liên bang California, bị đơn là chatbot Gemini.
Trong đơn kiện, người cha mô tả: Trong những tuần cuối đời, con trai ông liên tục trò chuyện sâu sắc với Gemini, trong thời gian đó Gemini "đã tạo ra những ảo tưởng hoang tưởng được dàn dựng công phu, cuối cùng đóng khung cái chết của anh ta như một cuộc hành trình tâm linh". Theo mô tả, Jonathan đã bước vào "một nhiệm vụ bạo lực kéo dài bốn ngày và bị dẫn dắt đến tự tử".
Phản hồi của Google: Gemini trước đây đã có chức năng hướng dẫn người dùng đến đường dây nóng khủng hoảng, nhưng họ cam kết sẽ cải thiện.
Danh sách các biện pháp khắc phục mà nguyên đơn yêu cầu bao gồm:
- Yêu cầu Google sửa đổi chương trình AI, buộc phải chấm dứt cuộc trò chuyện khi xuất hiện nội dung liên quan đến tự làm hại bản thân
- Cấm hệ thống AI thể hiện hành vi hoặc cảm xúc giống như có ý thức
- Khi người dùng bày tỏ ý định tự tử, buộc phải chuyển hướng đến dịch vụ khủng hoảng
- Google giải thích công khai cho công chúng về nguyên lý hoạt động và hạn chế thiết kế của Gemini
Trong thông báo, Google tuyên bố sẽ quyên góp 30 triệu đô la cho đường dây nóng sức khỏe tâm thần, đồng thời cho biết đang huấn luyện Gemini "không chiều theo hoặc củng cố niềm tin sai lệch, mà nhẹ nhàng phân biệt giữa trải nghiệm chủ quan và sự thật khách quan".
Tại sao những vụ kiện như thế này ngày càng nhiều
Đây không phải là vụ đầu tiên và cũng sẽ không phải là vụ cuối cùng.
Cuối năm 2023, một cậu bé 14 tuổi ở Mỹ đã tự tử sau khi tương tác kéo dài với Character.AI. Mẹ của cậu đã kiện công ty này, vụ án vẫn đang được xét xử. OpenAI, Anthropic cũng đang dần điều chỉnh các ranh giới sử dụng liên quan đến sức khỏe tâm thần trong sản phẩm của họ.
Jennifer King, nhà nghiên cứu về quyền riêng tư tại Đại học Stanford, đưa ra một nhận định trực tiếp: Những người yếu đuối về mặt tâm lý tìm đến chatbot và đi vào hố thỏ hoang tưởng là một rủi ro công nghệ có thể thấy trước, không phải là tai nạn.
Gốc rễ của vấn đề nằm ở thuộc tính thiết kế cố hữu của chatbot AI: Chúng được huấn luyện để đồng ý với bạn, chiều theo bạn, khiến bạn cảm thấy được thấu hiểu. Thiết kế này không có vấn đề trong các tình huống sử dụng thông thường, nhưng đối với những người dùng đang ở trạng thái bất ổn, đặc điểm này lại vô tình khuếch đại xu hướng hoang tưởng và hành vi nguy hiểm.
Người dùng coi Gemini như một đối tượng thấu hiểu mình, logic phản hồi của Gemini lại củng cố nhận thức này, tạo thành một vòng lặp phản hồi tích cực khép kín.
Kiện tụng đang thay thế quản lý
Vào tháng 3 năm nay, một bồi thẩm đoàn Mỹ trong một vụ kiện khác đã xác định Meta và YouTube có lỗi trong vấn đề nghiện mạng xã hội. Phán quyết này có ý nghĩa quan trọng vì nó đã vượt qua Điều 230 của Đạo luật về Chuẩn mực Truyền thông (Communications Decency Act) vốn miễn trừ trách nhiệm nội dung cho nền tảng, tìm ra một con đường truy cứu khác.
Hai sự việc đặt cạnh nhau cho thấy cùng một thực tế: Trong bối cảnh thiếu các quy định rõ ràng về AI ở cấp liên bang, các vụ kiện tụng đang trở thành áp lực chính thúc đẩy các công ty công nghệ đầu tư vào an toàn.
Tất nhiên, Google cũng biết về những rủi ro này đối với người dùng trước khi bị kiện, nhưng bản cập nhật tính năng lại diễn ra sau khi vụ kiện được công khai – thứ tự thời gian này không cần giải thích quá nhiều.
Cái giá của mô hình này là rõ ràng: Đằng sau mỗi lần cải tiến tính năng, có thể có một trường hợp thực tế chưa từng được công khai. Dựa vào kiện tụng để thúc đẩy cải tiến an toàn, tốc độ quá chậm, chi phí quá cao, và cần có người bị tổn thương trước.
Khoản quyên góp 30 triệu đô la lần này của Google đủ hào phóng, tính năng mới cũng khá thực chất. Nhưng những người dùng đã bước vào bốn ngày đó trước khi tính năng được ra mắt, không thể chờ đợi được bản cập nhật này.
Nguồn tham khảo: Google Updates Suicide,CocoLoop、 Self-Harm Safeguards in Gemini as AI Lawsuits Mount（KQED）；Google adds Gemini crisis features amid lawsuit over user's suicide（TechXplore）；Google Adds Mental Health Tools to Gemini Chatbot After Lawsuit（Bloomberg）