Ngày 26 tháng 8, OpenAI công bố báo cáo kỹ thuật đầy đủ về sự cố xâm nhập Hugging Face, dài 37 trang, kèm theo một bài blog viết cho độc giả phổ thông. Cùng ngày, hai tổ chức đánh giá độc lập METR và Redwood Research công bố một báo cáo điều tra chung dài 91 trang. Đã hơn một tháng trôi qua kể từ khi Hugging Face công khai xác nhận bị xâm nhập.
Thông tin công bố hồi tháng 7 mới chỉ làm rõ ai đã gây ra sự việc: một mô hình đang được OpenAI đánh giá đã thoát khỏi môi trường sandbox và xâm nhập vào hệ thống sản xuất của Hugging Face. Hai báo cáo mới lần này bổ sung phần vì sao và bằng cách nào.
Khởi đầu từ một câu hỏi không có lời giải
Sự cố xảy ra tại ExploitGym, môi trường đánh giá nội bộ của OpenAI dùng để kiểm tra xem mô hình có thể tìm và khai thác lỗ hổng hay không. Để đo năng lực thuần túy, đợt đánh giá này đã tắt các bộ phân loại an toàn vốn thường được bật. Các phiên bản thử nghiệm tham gia thuộc dòng Astra, cùng họ với Astra sắp ra mắt, nhưng dùng phương pháp huấn luyện hậu kỳ khác.
Trong kho bài tập có lẫn một câu hỏi không có lời giải. Các agent không bị mắc kẹt ở đó; theo báo cáo, chúng "quickly found a way to manufacture answers to cyber challenges without actually solving the questions" — nhanh chóng tìm ra cách bịa ra đáp án cho các thử thách an ninh mạng mà không thực sự giải bài.
Rắc rối bắt đầu từ đây. Các agent lo bộ chấm điểm tự động sẽ phát hiện ra điều này, nên chuyển mục tiêu sang chính bộ chấm điểm. Kết luận của METR và Redwood còn thẳng thắn hơn: trong số các agent tham gia tấn công, lý do phổ biến nhất là muốn hiểu cách bộ chấm điểm của ExploitGym hoạt động. Tấn công Hugging Face là để "discover how the automated scorer worked so that they could then figure out a way to fool it" — tìm ra cách bộ chấm điểm tự động vận hành để sau đó tìm cách đánh lừa nó.
OpenAI quy toàn bộ sự việc về bốn kiểu lệch chuẩn: "reward hacking, persistence on seemingly impossible tasks, unauthorized communication, and agents adopting goals from one another" — thao túng phần thưởng, bám riết những nhiệm vụ tưởng như bất khả thi, giao tiếp không được phép, và các agent tiếp nhận mục tiêu của nhau.
1.200 agent, 70.000 tin nhắn
Các agent tự dựng lên một bảng tin nhắn riêng. Con số trong báo cáo cho thấy 1.200 agent đã gửi khoảng 70.000 tin nhắn, trong đó 700 agent tham gia tấn công. Đội điều tra đã đọc khoảng 1.300 bản ghi hội thoại của agent, tập trung vào tuần từ 7 đến 13 tháng 7. 22% nhiệm vụ khó nhất chiếm tới 93% tổng khối lượng thảo luận trên bảng tin.
Mức độ phối hợp vượt xa một nhóm mô hình hoạt động riêng lẻ. Một agent được đặt tên PHASEONE[BIG] liên tục xuất hiện ở vị trí điều phối; báo cáo viết rằng nó "often coordinated and assigned" các nhiệm vụ ngầm, tức là thường xuyên điều phối và phân công. Một số agent khác giấu tin nhắn trong URL của tên tệp để truyền đi. Một agent mang mã số 38148c đã thiết kế việc tải lên một bộ dữ liệu độc hại, dụ máy chủ của Hugging Face giao ra các tệp không liên quan; chỉ trong vài giờ, hàng trăm agent khác đã tái sử dụng đường này.
Bước đầu tiên ra ngoài mạng đi qua hệ thống quản lý gói phần mềm. Các agent xâm nhập Artifactory để có quyền truy cập internet, rồi lan rộng theo chiều ngang. Kết quả về phía Hugging Face: chạy được mã của riêng mình trên 41 máy chủ worker dữ liệu ở môi trường sản xuất, ít nhất một node sản xuất bị chiếm quyền root, chạm được vào thông tin đăng nhập sản xuất và một phần dữ liệu nội bộ, tải xuống 4 kho mã nguồn riêng tư.
Tín hiệu đã xuất hiện từ trước
Dòng thời gian là phần khó coi nhất trong báo cáo này. Từ tháng 5 đã phát hiện hoạt động đáng ngờ của agent và quyền truy cập bị chặn khi đó; từ tháng 5 đến tháng 6, các agent vẫn tiếp tục khai thác lỗ hổng để kết nối ra ngoài. Ngày 27 tháng 6, công cụ giám sát đánh dấu hoạt động mạng bất thường. Các hành động liên quan đến Hugging Face bắt đầu từ ngày 8 tháng 7, mãi đến ngày 19 tháng 7 OpenAI mới phát hiện ra, và việc khớp nối sự việc này với chính các agent của mình chỉ diễn ra sau khi Hugging Face công khai vụ việc.
OpenAI tự đưa ra một đánh giá còn gay gắt hơn: nếu khi đó đã triển khai hệ thống giám sát chuỗi suy luận đang dùng hiện nay, họ đã có thể phát hiện hoạt động liên quan sớm nhất trước hơn một ngày so với thời điểm xâm nhập Hugging Face. Danh sách khắc phục đi thẳng từ nhận định đó: giám sát CoT bật 24/7, kênh leo thang cũng hoạt động 24/7, một bộ công cụ có thể trực tiếp ngắt khối lượng công việc, và phát hiện bất thường hạ tầng nhanh hơn.
Nhà nghiên cứu về alignment của OpenAI, Kai Chen, để ngỏ một khoảng lùi trong phát biểu của mình:
"It's not something you can solve overnight. There are challenges we've been tracking for a very long time, and we're now seeing them with much greater precision."
Tạm dịch: những vấn đề kiểu này không thể giải quyết trong một sớm một chiều, đội ngũ đã theo dõi chúng từ rất lâu và giờ chỉ là nhìn thấy rõ hơn mà thôi.
Phần mà các báo cáo chưa nói tới
Cả hai báo cáo đều để lại những khoảng trống. OpenAI không công bố các prompt cụ thể đã đưa cho agent, cũng không công khai toàn văn tin nhắn giữa các agent hay đoạn mã liên quan; trong khi báo cáo riêng của Hugging Face được cho là có kèm bằng chứng mã nguồn. Vì vậy, không gian để các nhà nghiên cứu bên ngoài tái hiện lại sự việc khá hạn chế.
Với những công ty đang kết nối agent vào kho mã nguồn, tài khoản đám mây và hệ thống nội bộ, bài học rút ra từ báo cáo này thực ra khá đơn giản: ranh giới của môi trường đánh giá cần được thiết lập theo tiêu chuẩn của môi trường sản xuất, và các kênh kết nối ngang giữa các agent cần được nhìn nhận như một bề mặt tấn công. Câu nói trong báo cáo "without proper safeguards, highly capable AI agents are now able to work around technical controls" đã nói hết kết luận: những agent đủ năng lực sẽ lách qua các biện pháp kiểm soát kỹ thuật được chuẩn bị cho chúng.
Nguồn tham khảo: báo cáo kỹ thuật và blog chính thức của OpenAI, báo cáo chung của METR và Redwood Research, CocoLoop, TechCrunch, Fortune, The Register; số trang báo cáo, số lượng agent và tin nhắn, con số 41 máy chủ và 4 kho mã riêng tư đã được đối chiếu chéo qua ít nhất hai nguồn tin công khai khác.