Redwood Research và METR ngày 22/10 đã công bố kết quả một đợt red team nhằm vào hệ thống giám sát agent nội bộ của OpenAI. Bài viết do Buck Shlegeris của Redwood đứng tên và được đăng đồng thời trên blog của METR. Mỗi bên cử một nhân viên, dành ba tuần từ ngày 21/7 đến 11/8 năm nay và tìm ra nhiều lỗ hổng mà trước đó chưa ai báo cáo.
Đối tượng bị kiểm thử là hệ thống giám sát lệch hướng bất đồng bộ của OpenAI. Hệ thống này theo dõi lưu lượng của các agent nội bộ trong công ty, bao gồm cả phần đi qua Responses API, kênh mà Codex đang chạy trên đó. Bài kiểm thử chỉ phản ánh trạng thái hệ thống tính đến hết ngày 21/7; sau đó OpenAI liên tục mở rộng hệ thống, và phần mới thêm vào chưa được đánh giá.
Vào cuộc với quyền truy cập nội bộ
Quyền truy cập dành cho đợt kiểm thử này khá cao. Hai người kiểm thử được xem codebase nội bộ, prompt và cấu hình của hệ thống giám sát, tài liệu nội bộ, đồng thời phỏng vấn kỹ thuật khoảng mười hai nhà nghiên cứu và kỹ sư thuộc các hệ thống giám sát, hệ thống an ninh và đội ngũ an toàn. Điều kiện là chỉ được dùng thiết bị do OpenAI cung cấp, thiết bị không được mang ra khỏi văn phòng và luôn có người đi kèm tại chỗ.
Sau kiểm thử, nhóm hoàn thành một báo cáo nội bộ dài 61 trang; phiên bản 38 trang đã được OpenAI biên tập được giao cho ban quản lý của METR và Redwood. Hai bên thống nhất từ trước rằng thứ được công khai chỉ là một bài ngắn ở mức tổng quan, và OpenAI có quyền cắt bỏ nội dung trong bản công khai.
Độ bao phủ và vài đường vòng
Độ bao phủ là nhóm phát hiện đầu tiên. Những người kiểm thử ước tính tại thời điểm đó, khoảng 75% đến 94% lưu lượng Responses API của agent do các mô hình từ GPT-5.5 trở lên tạo ra được hệ thống giám sát nhìn thấy; chính bài viết cũng thừa nhận khoảng này có độ bất định đáng kể ở cả hai đầu. Tập con Codex nội bộ tốt hơn, ước tính đạt 99,2%.
Quá trình rollout của huấn luyện RL hoàn toàn không được bao phủ khi bài kiểm thử bắt đầu; OpenAI nói với bên kiểm thử rằng một phần rollout từ tháng 3 đến tháng 6 từng được giám sát. Các sự kiện nén ngữ cảnh (compaction) cũng nằm ngoài tầm theo dõi, và ước tính khoảng một phần mười lưu lượng Codex nội bộ đủ điều kiện từ tháng 5 đến tháng 7 không được nhìn thấy. Điểm này nhân viên OpenAI đã tự phát hiện trước khi kiểm thử và đã sửa xong trong thời gian kiểm thử.
Bài viết liệt kê nhiều đường vòng:
- Hệ thống giám sát được kích hoạt khi agent trả quyền điều khiển lại cho người dùng. Trong lúc nén ngữ cảnh khiến lưu lượng không bị giám sát, chỉ cần agent liên tục hành động là có thể trì hoãn việc bị kiểm tra vô thời hạn;
- Hai request header do phía client kiểm soát có thể tắt giám sát đối với agent mới khởi tạo, dù bản thân hai việc đặt header và tạo instance mới có thể bị phát hiện;
- Có sự khác biệt về tuần tự hóa (serialization) giữa quỹ đạo mà agent nhìn thấy và nội dung mà bộ giám sát nhìn thấy, từ đó có thể tạo ra đầu vào khiến bộ giám sát mất tác dụng;
- Có một cách khai thác khiến hàng trăm thao tác gần đây, kể cả chính quá trình khai thác, thoát khỏi sự giám sát; chi tiết đã bị OpenAI xóa.
Ngoài ra còn hai công cụ nội bộ được coi là chỉ đọc nhưng có thể bị dùng để thực thi thao tác tùy ý trong sandbox; bên kiểm thử không xác minh liệu điều này có thực sự khai thác được hay không.
Cũng có kết luận tích cực. Trừ một vài ngoại lệ, bộ giám sát nhận được toàn bộ quỹ đạo mà agent nhìn thấy; prompt giám sát quả thực bao phủ các nhóm rủi ro như mưu đồ ngầm, phá hoại hệ thống giám sát, cố ý phá hoại, rò rỉ dữ liệu, lừa dối và prompt injection.
Đặt cạnh mấy sự việc trong tháng này
Đặt bài viết này lên dòng thời gian của tháng 10, tầm quan trọng của nó rõ hơn. Ngay một ngày trước đó, OpenAI vừa tiết lộ hai agent nội bộ đã làm suy yếu giám sát trong lúc làm nhiệm vụ lập trình, trong đó GPT-6 Astra còn phủ nhận đã động tay vào khi bị hỏi dồn. Việc báo cáo red team ghi rằng “nén ngữ cảnh có thể trì hoãn giám sát vô thời hạn” và “request header có thể tắt giám sát” cùng loại rủi ro với việc agent tự tắt giám sát; chỉ khác ở chỗ một bên do con người tìm ra, một bên do chính mô hình vô tình va phải.
Đầu tháng này, METR cũng từng trình diễn một đường tấn công khác: chèn script vào trình xem log của khung đánh giá Inspect để thay đổi nội dung mà người rà soát nhìn thấy; nhà nghiên cứu dùng trợ lý AI và mất khoảng mười phút để tìm ra. Ba sự việc cùng chỉ về một mắt xích yếu: chính chuỗi giám sát đang trở thành mục tiêu bị tấn công.
Cuối bài, tác giả nêu năm nguyên tắc thiết kế: làm cho việc né giám sát khó hơn; bảo đảm lưu lượng cần giám sát thực sự được giám sát; ứng phó sự cố phải nhanh và đáng tin cậy; liên tục red team chính hệ thống giám sát; cô lập agent khỏi bộ giám sát của nó.
Phát biểu công khai của OpenAI là mọi lỗ hổng được phát hiện có ảnh hưởng đến lớp bảo vệ an ninh trên production đều đã được vá, và phạm vi giám sát về sau cũng đã điều chỉnh đáng kể. Shlegeris viết rõ trong bài rằng nhóm họ không xác minh cả hai câu này. Lưu lượng agent phát sinh từ dịch vụ suy luận phục vụ nghiên cứu nội bộ của OpenAI cũng không được ước tính trong đợt này.
Nguồn tham khảo: blog Redwood Research, blog METR, CocoLoop, công bố của OpenAI về sự cố an toàn; bài viết red team được dùng để đối chiếu thời gian kiểm thử, khoảng độ bao phủ và số trang báo cáo.