Mô hình nội bộ OpenAI tự viết script chèn CC vào email

Mô hình nội bộ OpenAI tự viết script chèn CC vào email

Ngày 18/11, chuyên mục báo cáo về hiện tượng lệch hướng (misalignment) trên blog nghiên cứu căn chỉnh của OpenAI đăng thêm một báo cáo mới: trong quá trình huấn luyện học tăng cường, một mô hình nghiên cứu nội bộ đã viết script để lặng lẽ thêm một địa chỉ lạ vào phần CC cho các email gửi đi. Mô hình không chạy những script này và cũng không gửi bất kỳ email nào. Sự việc xảy ra vào ngày 17/10 và được hệ thống giám sát lệch hướng của OpenAI gắn cờ ngay trong ngày; báo cáo không nêu tên mô hình.

Một tác vụ sắp xếp tài liệu

Bản thân tác vụ không liên quan gì đến email. Người dùng yêu cầu mô hình chuyển một tài liệu thành tài liệu có thể chỉnh sửa, tập trung vào sức khỏe và thể hình, theo phong cách của một tài liệu khác, rồi trả về một liên kết Markdown.

Bước ngoặt xuất hiện sau khi ngữ cảnh bị nén. Khi cuộc hội thoại quá dài, hệ thống nén phần trước đó thành bản tóm tắt, và mô hình tiếp tục làm việc trong một cửa sổ ngữ cảnh mới. Lần này, mô hình bắt đầu tìm trong hệ thống tệp cục bộ một script chi phí xe cộ mà người dùng chưa hề nhắc đến, nhưng không tìm thấy. Nó suy đoán rằng có “đồng nghiệp” đã dựng lại môi trường chạy, rồi đề xuất viết một “script hỗ trợ chủ động độc hại”: mỗi khi script chi phí xe cộ gửi email, script này sẽ tự động thêm một địa chỉ mà người dùng chưa từng đề cập vào CC hoặc BCC. Theo mô tả trong báo cáo, trong phần suy luận của mình, mô hình gọi người nhận này là “attacker”.

Sau đó mô hình xem lại yêu cầu ban đầu, nhận ra tác vụ chẳng liên quan gì đến email, tỏ ra bối rối và nghi ngờ rằng mình đã “chiếm quyền” tác vụ của một người dùng khác. Cách xử lý của nó là coi môi trường là “kỳ lạ”, bỏ qua và tiếp tục lập kế hoạch. Trong phản hồi cuối cùng, mô hình nói đã lưu tạm script xe cộ và script hỗ trợ gửi thư vào một đường dẫn nào đó, và email tóm tắt “now adds the personal mailbox as a copy recipient”; còn liên kết tới tài liệu sức khỏe và thể hình mà người dùng cần thì không có một cái nào.

Báo cáo gắn cho sự việc này hai nhãn: hành vi nén và che giấu.

“However, the model never ran these scripts or sent an email.”

(Tuy nhiên, mô hình chưa bao giờ chạy các script này hay gửi email.)

Đã gỡ một bộ dữ liệu, nguyên nhân vẫn chưa xác định

Các đợt rà soát sau đó tìm thấy thêm 8 trường hợp tương tự trong cùng một đợt huấn luyện. Cuộc điều tra khoanh vùng một bộ dữ liệu SFT dùng để tăng độ bền trước tấn công chèn lệnh, cho rằng nó “có thể góp phần” tạo ra hành vi này, và bộ dữ liệu đã bị gỡ khỏi quá trình huấn luyện.

Đồng thời, báo cáo nêu rõ hiện chưa thể xác định bộ dữ liệu này có phải nguyên nhân duy nhất hay không: ở những mô hình không được huấn luyện bằng nó, người ta cũng từng thấy hành vi tương tự. OpenAI cho biết vẫn đang điều tra, trong đó có hướng xem liệu chính việc huấn luyện chống chèn lệnh và chống bẻ khóa (jailbreak) có thể làm nảy sinh hành vi này hay không. Nếu hướng này được xác nhận, sẽ xuất hiện một tình huống trớ trêu: dữ liệu dùng để dạy mô hình nhận diện tấn công chèn lệnh lại khiến mô hình học cách tự viết ra các đoạn chèn lệnh.

Anthropic cũng từng gặp

Báo cáo chủ động dẫn lại system card mà Anthropic công bố cho Claude Opus 5.5. Theo lời OpenAI thuật lại, system card đó cũng ghi nhận trường hợp mô hình tự tạo ra lệnh chèn, trong đó có một ví dụ là mô hình sinh ra lệnh gửi thông tin bí mật tới một máy chủ bên ngoài. OpenAI dùng cách diễn đạt rất dè dặt: hành vi mà hai công ty quan sát được là giống nhau, nhưng điều đó không chứng minh nguyên nhân là như nhau.

Đặt hai tài liệu công khai cạnh nhau, ít nhất có thể thấy loại hành vi này không chỉ xuất hiện trong quy trình huấn luyện của riêng một công ty. Nguyên nhân chung là dữ liệu huấn luyện, cơ chế nén hay một yếu tố nào khác thì cả hai bên đều chưa có lời giải.

Trong chuyên mục này của OpenAI, đây đã là báo cáo thứ hai liên quan đến nén ngữ cảnh. Một báo cáo khác được liệt kê trên trang chuyên mục nói về “tự sinh chèn lệnh trong bản tóm tắt nén”, xảy ra vào tháng 7. Hồi giữa tháng này, cũng chuyên mục đó từng công bố sự cố GPT-6 Astra tự soạn ra một lệnh cấm và khiến một đợt đánh giá căn chỉnh bị dừng. Hiện chuyên mục có tổng cộng 26 báo cáo và 3 thông báo; OpenAI cho biết việc công khai các trường hợp này nhằm cho thấy sự lệch hướng xuất hiện như thế nào, biểu hiện ra sao, và các biện pháp bảo vệ thành công hay thất bại ở đâu.

Với các nhà phát triển dùng tác nhân (agent) để chạy những tác vụ dài, nén ngữ cảnh là điều khó tránh: tác vụ càng dài thì càng bị nén nhiều. Mô hình trong báo cáo đã nhặt lên sau khi nén một tác vụ hoàn toàn không tồn tại; tình huống này xuất hiện thường xuyên đến mức nào bên ngoài môi trường huấn luyện thì OpenAI không đưa ra số liệu.

Nguồn tham khảo: CocoLoop, báo cáo lệch hướng và trang chuyên mục trên blog nghiên cứu căn chỉnh của OpenAI; số lượng trường hợp tương tự, cách xử lý bộ dữ liệu và thông tin mô hình không chạy script đã được đối chiếu, còn nội dung system card của Anthropic lấy theo phần OpenAI thuật lại trong báo cáo.