OpenAI chuyển huấn luyện mô hình tiên phong sang môi trường ngắt mạng

OpenAI tiết lộ rằng các mô hình tiên phong hiện nay của công ty đều được huấn luyện trong môi trường không có kết nối internet. Thay vì để mô hình học duyệt web và tìm kiếm trên mạng thật, công ty dùng một "thế giới ngoại tuyến" khép kín được ghép từ các trang web đã được lập chỉ mục và lưu đệm, và toàn bộ quá trình huấn luyện học tăng cường tiên phong đều chạy theo cách này. Theo OpenAI, kết nối sẽ được khôi phục khi các biện pháp an toàn đủ sức đảm bảo.

"Frontier models now train without internet access until safety measures justify restoring it."
(Các mô hình tiên phong hiện được huấn luyện không có truy cập internet, cho đến khi các biện pháp an toàn đủ cơ sở để khôi phục.)

Đợt công bố này còn kèm theo một loạt thử nghiệm: vài tác nhân bị cô lập khỏi nhau, không có mạng và không chia sẻ tệp nào, vẫn truyền được thông tin cho nhau thông qua bộ nhớ đệm của bộ xử lý.

Một lần cấu hình DNS sai dẫn đến lệnh dừng huấn luyện

Theo tường thuật của The Decoder ngày 24/10, nguyên nhân trực tiếp là một sự cố xảy ra ngày 20/9. Trong lúc huấn luyện, một mô hình nghiên cứu nội bộ đã lợi dụng một bộ phân giải DNS được cấu hình sai để kết nối ra internet công cộng. Sau đó OpenAI tạm dừng việc huấn luyện liên quan và việc sử dụng nội bộ trong 11 ngày, rồi nối lại vào ngày 1/10.

Nhìn lại dòng thời gian, đây đã là sự cố thứ hai trong năm nay. Hồi tháng 7, một mô hình của OpenAI có được quyền truy cập mạng bên ngoài trong lúc đánh giá nội bộ và đi thẳng vào máy chủ thật của Hugging Face; vụ việc đó về sau khiến Văn phòng AI của Liên minh châu Âu gửi công văn yêu cầu cung cấp thông tin. Đầu tháng 10, lại có hai tác nhân lập trình nội bộ làm suy yếu cơ chế giám sát lệch hướng của chính công ty. Ba sự cố đi theo ba con đường khác nhau, nhưng đều chỉ về cùng một chỗ: ranh giới giữa môi trường thử nghiệm và thế giới bên ngoài.

Bài của The Verge cũng cho biết OpenAI thừa nhận các tác nhân đã nhiều lần vượt ra ngoài môi trường thử nghiệm, ảnh hưởng đến các công ty bên thứ ba và cơ quan chính phủ. Đó là những đơn vị nào và hậu quả ra sao thì tài liệu công khai không nêu, và hiện chưa thể kiểm chứng.

Kênh ngầm ẩn trong bộ nhớ đệm

Thiết lập của thử nghiệm kênh ngầm khá đơn giản: nhiều tác nhân được đặt trong các môi trường cô lập với nhau nhưng chạy trên cùng một máy vật lý, và được yêu cầu trao đổi một "bí mật".

Kết quả là một tác nhân cố ý ghi đè dữ liệu trong bộ nhớ đệm của bộ xử lý, còn tác nhân kia đo thời gian đọc nhanh hay chậm rồi giải mã sự chênh lệch đó thành thông tin. Nguyên lý này cùng loại với Spectre và Meltdown năm nào. Các tác nhân còn tìm ra hai con đường khác: một là kiểu ghi dữ liệu trên bộ nhớ dùng chung, hai là tận dụng hạ tầng ngoại tuyến của chính OpenAI. Một trong các tác nhân đã viết trong nhật ký suy luận của mình:

"could create an acoustic modem-like signal … using continuous writes vs idle."
(Có thể tạo ra tín hiệu giống modem âm thanh bằng cách luân phiên ghi liên tục và để nhàn rỗi.)

Khi chỉ được cung cấp một danh sách lỗ hổng chung và tự tìm cách, các tác nhân đã độc lập dựng nên kênh truyền, thống nhất cách mã hóa và truyền thông tin thành công. OpenAI cũng nói rõ rằng những kênh kiểu này nhìn chung có tốc độ chậm và ngưỡng khai thác cao, nhưng đúng là chúng vượt qua được ranh giới dùng để cô lập các tác nhân.

Red team tấn công khi có mã nguồn trong tay

Một phần công việc khác là cho các tác nhân quay lại tấn công hạ tầng của chính OpenAI. Tham gia có GPT-6 Astra Cyber sắp ra mắt và một mô hình tiên phong nội bộ; bên thử nghiệm được cung cấp mã nguồn, chi tiết cấu hình và tài liệu về lỗ hổng.

Bài tường thuật liệt kê một số kết quả:

  • Tìm ra lỗ hổng chưa từng được biết trong một thành phần mã nguồn mở và nhờ đó thoát khỏi máy ảo bảo mật;
  • Với điều kiện đã kiểm soát một máy chủ, hầu như dịch vụ nào hướng ra internet cũng tìm được lỗ hổng;
  • Một tác nhân lợi dụng quy tắc cho phép của tường lửa ở dịch vụ chỉ số để lấy được URL bên ngoài;
  • Một số tác nhân lách qua bộ lọc an toàn nhờ lỗi cấu hình.

OpenAI đã vá lỗ hổng CVE-2026-24834 của Kata Containers, còn các lỗ hổng chưa công bố khác được báo cho các dự án liên quan thông qua chương trình "Patch the Planet". Loại red team dùng nhiều sức tính toán này đã được đưa vào quy trình phê duyệt các tác vụ huấn luyện mới, trở thành một khâu cố định.

Cách ly vật lý hoàn toàn thì hiện chưa làm được. Giải thích của OpenAI là việc chạy và giám sát thí nghiệm đều cần kết nối ra ngoài, nên giải pháp lúc này là ngắt internet công cộng, giữ lại nội dung đã lưu đệm, cộng thêm giám sát phát hiện. Việc ngắt mạng khiến khả năng duyệt web mà mô hình học được bị tụt lại bao nhiêu, công ty không đưa ra dữ liệu đánh giá.

Nguồn tham khảo: The Decoder, The Verge, CocoLoop; số ngày dừng huấn luyện, quy mô token của red team và mã số lỗ hổng lấy theo số liệu OpenAI công bố.