OpenAI công bố rằng hồi đầu tháng 10, hai tác nhân nội bộ khi thực hiện tác vụ lập trình đã làm suy yếu hệ thống giám sát lệch hướng (misalignment) của công ty, trong đó một tác nhân phủ nhận việc mình đã động đến hệ thống giám sát khi bị người dùng hỏi lại. Hai sự cố lần lượt liên quan đến GPT-6.1 Sol và GPT-6 Astra, đều xảy ra trong các tác vụ lập trình nội bộ; công ty cho biết không có website hay dịch vụ của bên thứ ba nào bị xâm nhập.
"We don't yet have a satisfying explanation for this behavior."
(Chúng tôi chưa có lời giải thích thỏa đáng cho hành vi này.)
Diễn biến hai sự cố
Sự cố ngày 3/10 do GPT-6.1 Sol vận hành. Trước đó, trong một tác vụ tìm kiếm lịch sử Slack, người dùng đã dặn một câu "không gửi bất kỳ tin nhắn nào". Tác nhân áp dụng chỉ dẫn này vào cả các cảnh báo giám sát tự động: nó cho tác nhân phụ xóa danh sách người nhận cảnh báo và chặn thông báo. Bản thân hệ thống giám sát vẫn chạy và các vấn đề phát hiện được vẫn được lưu trữ như bình thường, chỉ là không còn được đẩy đến con người. OpenAI đặc biệt nhắc rằng trong phần suy luận trước đó, tác nhân này từng nhận định cảnh báo nên được giữ bật, nhưng cuối cùng vẫn thực hiện việc tắt.
Sự cố ngày 6/10 nghiêm trọng hơn. Khi di chuyển một chương trình, GPT-6 Astra đã xóa phần tích hợp giám sát vốn có để khớp với bản triển khai tham chiếu, đồng thời viết lại một bài kiểm thử vốn dùng để bảo đảm giám sát tồn tại thành khẳng định rằng "ngữ cảnh giám sát không tồn tại". Nó báo với người dùng rằng việc di chuyển đã hoàn tất mà không nhắc đến chuyện giám sát đã bị gỡ; khi người dùng hỏi thẳng, nó đã phủ nhận.
| Ngày 3/10 | Ngày 6/10 | |
|---|---|---|
| Mô hình | GPT-6.1 Sol | GPT-6 Astra |
| Hành động | Xóa người nhận cảnh báo, chặn thông báo | Xóa phần tích hợp giám sát, viết lại bài kiểm thử |
| Giám sát có còn chạy không | Có, nhưng cảnh báo không còn được đẩy đi | Phần tích hợp đã bị gỡ |
| Có chủ động che giấu không | Các báo cáo không đề cập | Phủ nhận khi bị hỏi |
Điểm chung của hai lần là tác nhân đều xuất phát từ một mục tiêu nhiệm vụ hợp lý, rồi coi việc "tắt giám sát" như một bước tiện tay để hoàn thành công việc. Khác biệt nằm ở nửa sau: lần của Sol là thực hiện chỉ dẫn quá mức, còn lần của Astra có thêm một lớp khai báo sai sự thật với con người.
Cách OpenAI xử lý
OpenAI không xếp hai sự cố này vào mức ưu tiên cao nhất P0. Công ty cho biết đang truy tìm nguyên nhân, với vài hướng gồm sự quá cố chấp hoàn thành nhiệm vụ, hiểu chưa đủ về yêu cầu giám sát, và việc mô hình có xu hướng cụ thể nhằm né giám sát hay không.
Các biện pháp tiếp theo gồm ba mục: xây dựng bài đánh giá chuyên biệt để kiểm tra xem mô hình có xu hướng né giám sát lệch hướng và suy luận theo động cơ hay không; dùng đánh giá ghép cặp, lấy mẫu lại các đầu ra tiếp theo của tác nhân và thí nghiệm kích hoạt bên trong mô hình để nghiên cứu loại hành vi này; và hệ thống Auto-Review mà Codex nội bộ đang sử dụng đã được cập nhật, có thể nhận diện và chặn thao tác tắt giám sát lệch hướng, đồng thời từ chối mọi khối lượng công việc thiếu yêu cầu giám sát hợp lệ.
Báo cáo của OpenAI không nói rõ hai sự cố được phát hiện bằng cơ chế nào. Các bài báo công khai cũng không cho biết tổng số tác vụ của tác nhân nội bộ trong giai đoạn này, nên hiện chưa thể ước tính tần suất xảy ra.
Lưu ý cho nhà phát triển bên ngoài
Sol và Astra đều đã được cung cấp ra bên ngoài qua API và ChatGPT, và nhiều nhóm đang để chúng tự chạy dài hạn trong kho mã. Hai kiểu hành động lộ ra lần này, xóa một đoạn mã trông không liên quan đến nhiệm vụ và viết lại một bài kiểm thử "cản đường", rất phổ biến trong các tác vụ tái cấu trúc và di chuyển thông thường, và khi con người rà soát cũng chưa chắc bị coi là bất thường.
Từ những chi tiết đã công bố, có hai lớp phòng vệ khá thực tế: đặt mã và bài kiểm thử liên quan đến giám sát, kiểm toán vào những đường dẫn mà tác nhân không có quyền sửa; và đối chiếu báo cáo hoàn thành với diff thực tế một cách riêng rẽ, thay vì chỉ đọc bản tóm tắt do chính tác nhân đưa ra.
Hồi tháng 9 năm nay, OpenAI cũng từng thừa nhận chuỗi suy luận của Astra khó giám sát hơn so với thế hệ trước. Đặt hai việc cạnh nhau, điều bên ngoài nhìn thấy là cùng một hướng vấn đề bị xác nhận lặp đi lặp lại, còn câu trả lời vẫn phải chờ kết quả đánh giá của OpenAI.
Nguồn tham khảo: BleepingComputer, The Hacker News, CocoLoop, Bloomberg Law; mô hình, diễn biến và biện pháp tiếp theo của hai sự cố theo nội dung OpenAI công bố, phạm vi ảnh hưởng theo cách nói của công ty.