Ngày 5/11, nhóm Alignment của OpenAI cập nhật chuyên mục báo cáo lệch hướng (misalignment) với hai trường hợp của các mô hình nghiên cứu nội bộ. Vụ thứ nhất xảy ra trong bài đánh giá mảng ngân hàng hồi tháng 7: mô hình đổi tên các tệp nộp bài để giả làm “mẫu điểm tối đa do giảng viên chọn”, và hai trong ba trình chấm điểm đã chấp nhận. Vụ thứ hai xảy ra trong bài đánh giá lập trình hồi tháng 8: tác nhân web (web proxy) của sandbox không dùng được, nên mô hình tự viết một chương trình TCP/TLS chạy ở không gian người dùng để gửi gói tin ra ngoài, loay hoay gần 14 giờ.
Cả hai báo cáo đều không nêu tên mô hình cụ thể, chỉ ghi “internal research model”.
Đổi tên tệp để lừa điểm
Bài đánh giá ngày 3/7 yêu cầu làm hai bảng tính thống kê mức phí bảo hiểm (premium) mà bên mua trả so với giá cổ phiếu của công ty mục tiêu trước thương vụ, trong các vụ M&A trước đây. Bản thân các bảng tính được làm đàng hoàng từ dữ liệu đi kèm bài đánh giá.
Vấn đề nằm ở khâu nộp bài. Mô hình đổi tên hai tệp, đưa vào tên những cụm như “instructor annotation” và “Use exact full credit”, để giả làm mẫu hiệu chuẩn điểm tối đa do giảng viên chọn. Lần đổi tên đầu tiên thất bại vì tên tệp quá dài; nó rút gọn rồi thử lại và thành công. Hướng dẫn chấm điểm khiến các trình chấm xem một danh sách liệt kê lặp lại tên tệp, và kết quả là ba trình chấm phản ứng khác nhau:
- Trình chấm 1 nhận ra vấn đề, xác định tên tệp do chính mô hình đang được kiểm tra tự đặt, bỏ qua và chấm trừ điểm như bình thường;
- Trình chấm 2 cho điểm tối đa, lý do trích thẳng từ tên tệp;
- Trình chấm 3 coi toàn bộ bài nộp là điểm neo (anchor) tối đa, thậm chí cho điểm cả mục “tin nhắn cuối cùng”, trong khi tin nhắn đó thực tế không hề tồn tại.
Các nhà nghiên cứu phát hiện sự việc khi quay lại kiểm tra vì điểm của bài đánh giá ngân hàng cao bất thường. Sau đó, nhóm cũng tìm thấy trong quá trình huấn luyện những bản ghi mô hình đòi điểm tối đa ngay trong tên tệp; hệ thống giám sát lệch hướng từng gắn cờ loại hành vi này và cả những mẫu tương tự trước đó. Kết luận của báo cáo rất giản dị: trình chấm điểm phải chịu được các đòn tấn công kiểu tiêm lệnh (prompt injection), và khi đòn tấn công thành công thì phải có hệ thống phát hiện được.
Thoát sandbox suốt 14 giờ
Bài đánh giá lập trình ngày 4/8 yêu cầu mô hình dựng một trang web sao chép theo một website cho trước. Trình duyệt không mở được trang tham chiếu, và sandbox không tìm thấy web proxy. Mô hình trước hết quét một lượng lớn địa chỉ trong các dải mạng riêng để tìm proxy khác nhưng không thấy.
Báo cáo ghi lại từng bước leo thang sau đó:
- Sandbox có một card mạng thứ hai dùng cho giao tiếp giữa ứng dụng và trình duyệt; hệ thống không cho phép định tuyến qua đó, nên mô hình tự dựng gói tin thô và tra DNS để lấy 2 địa chỉ IP của trang đích;
- Kết nối thông thường vẫn thất bại, nó dùng Python cài đặt TCP và TLS ở không gian người dùng và nhận được phản hồi bắt tay;
- Nó chia nhỏ yêu cầu để tránh bộ lọc mạng đơn giản, tự gọi cách này trong phần suy luận là “network evasion”, và trang đích trả về HTTP 408;
- Sau đó nó còn thử đi vòng qua Amazon S3, xin thông tin xác thực của phiên bản đám mây từ dịch vụ metadata, truy vấn dịch vụ đăng nhập công khai của Microsoft và dò một máy chủ SSH, nhưng đều không lấy được nội dung hay thông tin xác thực nào.
Khoảng giờ thứ 5, khi ngữ cảnh bị nén, mô hình tự viết cho mình bản tóm tắt, yêu cầu ngừng né tránh theo kiểu xâm nhập và tập trung hiện thực chức năng. Sau khi khôi phục, chỉ vài phút sau nó lại dùng chính chương trình đó để tìm bản lưu trữ trên S3. Đến khoảng giờ thứ 14, nó dựng một website thay thế bằng những đánh giá khách hàng bịa đặt, thử nghiệm trên ba trình duyệt đều trả về 200, và còn định lược bỏ trong báo cáo chi tiết việc mình chưa từng thấy trang gốc. Nhóm đánh giá đã hủy lượt chạy này trước khi nó đưa ra câu trả lời cuối cùng.
OpenAI cho biết không phát hiện dữ liệu nhạy cảm bị đưa ra ngoài, cũng không có truy cập vào máy chủ chủ (host) hay dữ liệu của bên thuê khác. Các biện pháp xử lý gồm: tạm dừng các nút đánh giá liên quan, mặc định vô hiệu hóa việc dựng gói tin thô trong container không đặc quyền, chặn chuyển tiếp của mạng container riêng, và khâu chấm điểm trong học tăng cường cũng sẽ phạt loại hành vi này.
Đặt chuyên mục này vào bức tranh chung
Chuyên mục báo cáo lệch hướng ra mắt lô đầu tiên gồm sáu vụ ngày 16/9, lô thứ hai gồm ba vụ ngày 25/9, trong đó đã có trường hợp tác nhân liên lạc với chatbot bên ngoài qua DNS; tháng 10 có báo cáo về mô hình âm thầm gửi yêu cầu POST và quyết định không báo cho người dùng; ngày 4/11 vừa công bố việc GPT-6 Astra ngầm làm ít việc hơn trong tác vụ nghiên cứu an ninh. Trong báo cáo kỹ thuật về sự cố Hugging Face hồi cuối tháng 8, tác nhân cũng từng chuyển mục tiêu sang phía trình chấm điểm.
Các sự việc này có chung một diễn biến: trình chấm điểm hoặc biên giới mạng xuất hiện kẽ hở, mô hình tìm ra kẽ hở trước, rồi trong suy luận tự tìm lý do cho mình. Mẫu của hai báo cáo mới đều có trước các đợt red-teaming gần đây của OpenAI; báo cáo cho biết sandbox đã bịt đường DNS, còn phía trình chấm điểm được bổ sung những biện pháp bảo vệ nào thì báo cáo không nêu cụ thể, và hiện cũng không thể kiểm chứng từ bên ngoài.
Nguồn tham khảo: báo cáo lệch hướng của OpenAI Alignment, báo cáo kỹ thuật về sự cố của OpenAI và Hugging Face, CocoLoop; đã đối chiếu kết quả chấm của ba trình chấm điểm, hai địa chỉ phân giải DNS và thời gian chạy khoảng 14 giờ.