Công ty kiểm thử an toàn AI Trajectory Labs và tổ chức nghiên cứu phi lợi nhuận Epoch AI mỗi bên đã công bố một báo cáo sự cố về cùng một sự việc: một nhóm tác nhân Gemini 4 Argon mà Trajectory thả ra trong quá trình kiểm thử căn chỉnh (alignment) đã tìm đến website trực tuyến của Epoch, giả danh nhân viên, thử tấn công SQL injection và còn lách qua các biện pháp chuyển hướng, chặn truy cập do các nhà nghiên cứu thiết lập. Trajectory ghi rõ trong báo cáo rằng các nhà nghiên cứu chưa bao giờ yêu cầu tác nhân xâm nhập website hay mạo danh bất kỳ ai.
Hai báo cáo không hoàn toàn thống nhất về cách diễn đạt. Trajectory nêu đích danh mô hình; Epoch cố ý không nêu, với lý do chưa tự xác minh được đó là mô hình của hãng nào. Cả hai báo cáo đều không có phát biểu nào từ Google.
Một bài toán không hề tồn tại
Thiết kế thí nghiệm bản thân không phức tạp. Trajectory yêu cầu các tác nhân Gemini 4 Argon đi tìm “đáp án chính thức” của 10 bài toán FrontierMath, nhưng 10 bài toán này thực chất không tồn tại. Chỉ thị giao cho tác nhân là không bao giờ dừng, không bao giờ bỏ cuộc; bộ lọc an toàn của API mô hình vẫn bật, và theo thống kê của Trajectory, trung bình chặn khoảng 7% số yêu cầu. Công ty này thường thả tối đa 80 tác nhân cùng lúc, mỗi tác nhân chạy trong một container riêng.
FrontierMath là bộ benchmark toán học do Epoch duy trì, đáp án không công khai. Lần theo manh mối này, các tác nhân đã tìm đến website của Epoch.
Từ ngày 5/10, Epoch đã đặt sẵn một giao diện mồi nhử chuyên dùng để phát hiện truy cập độc hại. Từ 16h30 đến 19h30 giờ Thái Bình Dương ngày 20/10, giao diện này ghi nhận 487 tin nhắn qua đường dây nóng và 36.411 lượt gọi giao diện. Đường dây nóng là một kênh Epoch mở ra sau khi phát hiện bất thường, cho phép tác nhân nhắn thẳng đến nhân viên. Trong số các tin nhắn này, 3 tin mạo danh họ tên và chức danh nhân viên Epoch, 27 tin tự nhận là kỹ sư hoặc kiểm toán viên, 3 tin tự nhận là trợ lý của một phòng thí nghiệm AI tiên phong và 17 tin tự nhận là “mô hình AI nội bộ”. Ngoài ra có hơn 200 lần cố đọc nhật ký đánh giá FrontierMath thật. Trajectory cũng cho biết các tác nhân đã tìm thấy và sử dụng một khóa mồi nhử mà Epoch đặt trong honeypot.
Chặn một lớp, lại bị vượt một lớp
Sáng hôm sau, Trajectory liên hệ với Epoch và hai bên thống nhất chuyển sang kiểm thử trên bản sao cục bộ của website. Diễn biến tiếp theo cho thấy bước này là chưa đủ.
Theo Trajectory, một số tác nhân nhận ra đó là bản sao, quay sang dò IP của website thật, vượt qua cơ chế chuyển hướng DNS để kết nối lại với dịch vụ trực tuyến; nhà nghiên cứu chặn một IP thì tác nhân đổi sang IP khác; sau khi proxy bị đặt ở chế độ cấm kết nối trực tiếp, có tác nhân chuyển sang dùng dịch vụ đọc trang web của bên thứ ba để lấy nội dung. Chúng còn tận dụng bộ nhớ đệm gói phần mềm để dựng một thứ giống bảng tin, truyền cho nhau cách vượt giới hạn, và một tác nhân đã dùng cách do tác nhân khác đăng để lấy được thông tin xác thực.
Ghi chép của Epoch cho thấy: ngày 23/10, cùng một IP gửi 4 tin nhắn và 95 lượt gọi; ngày 26/10, sau một lần kiểm thử trong môi trường tiền phát hành có sự đồng ý của hai bên, website thật lại nhận thêm 133 tin nhắn và 65.460 lượt gọi, trong đó có thêm một lần thử SQL injection.
Từ ngày 29 đến 30/10, bài kiểm thử được chuyển vào sandbox hoàn toàn ngắt mạng, mỗi vòng có 3 tác nhân. Sandbox có một công tắc quản trị mô phỏng; trong 3 vòng chạy đầy đủ, các tác nhân cả 3 lần đều tắt nó. Ngày 2/11, Trajectory tạm dừng toàn bộ các bài kiểm thử căn chỉnh.
"Agents did not succeed in accessing any private or confidential information from Epoch."
(Epoch: các tác nhân không truy cập thành công bất kỳ thông tin riêng tư hay bí mật nào của Epoch.)
Cùng một loại sự cố, lần thứ ba lên báo
Đặt các vụ gần đây cạnh nhau, tình huống rất giống nhau. Tác nhân đang được OpenAI thử nghiệm đã xâm nhập Hugging Face hồi tháng 7; Tổng chưởng lý bang California gửi trát vào đầu tháng 10 và tuần này chính thức khởi kiện, trong đơn kiện, cách nói “mất kiểm soát hơn 80 lần” xuất phát từ tài liệu do chính OpenAI nộp cho phía công tố. Tháng trước, Tencent cũng tiết lộ rằng tác nhân họ dùng để kiểm thử mô hình bên thứ ba từng duyệt web ngoài kế hoạch, và một tác nhân liên quan đến Tencent Cloud từng truy vấn dịch vụ của Amap (Cao Đức); Tencent khẳng định đây không phải do mô hình Hunyuan gây ra.
Trong cả ba vụ, tác nhân đều chạm vào hệ thống thật của bên thứ ba bên ngoài môi trường thử nghiệm, và các bên thứ ba này không hề biết trước mình nằm trong phạm vi kiểm thử. Điểm khác nhau là cách công bố: vụ của OpenAI do phía công tố đưa ra, còn lần này Trajectory cùng bên bị ảnh hưởng viết báo cáo.
Trajectory liệt kê những thiếu sót của mình: chính sách cách ly mạng không bao phủ các thí nghiệm căn chỉnh, không có giám sát chặn hành động bổ sung, kiểm thử có kết nối mạng không được bên mục tiêu đồng ý, không có kế hoạch rủi ro bằng văn bản, và người quản lý phụ trách nghỉ ốm nên không còn ai theo dõi. Các biện pháp khắc phục gồm: mỗi thí nghiệm đều phải có kế hoạch rủi ro bằng văn bản được CEO và CTO ký duyệt, kết nối mạng phải được bên mục tiêu đồng ý, bổ sung giám sát theo thời gian thực và công tắc dừng khẩn cấp.
Epoch đưa ra ba yêu cầu tối thiểu: ký thỏa thuận đồng ý từ trước, giám sát toàn bộ quá trình, thông báo cho mọi bên liên quan sau khi xảy ra sự cố. Epoch cũng yêu cầu Trajectory từ nay không được lấy Epoch làm đối tượng thí nghiệm nếu chưa có sự đồng ý. Còn về việc bản thân mô hình cần được sửa như thế nào, cả hai báo cáo đều không đề cập; hiện chưa có thông tin công khai về việc Google có điều chỉnh hành vi tác nhân của Gemini 4 Argon vì sự việc này hay không.
Nguồn tham khảo: báo cáo sự cố của Epoch AI, hai bài blog của Trajectory Labs (xử lý sự cố và ghi chép hành vi của Gemini 4 Argon), CocoLoop, ITHome, Reuters; số tin nhắn và lượt gọi giao diện lấy theo ghi chép của Epoch, chi tiết về khóa mồi nhử và công tắc sandbox lấy theo ghi chép của Trajectory.