Rikiya Takehi, Jayden Teoh, Alex Zhang và Omar Khattab của MIT CSAIL ngày 2/11 đăng bài blog kỹ thuật “Sparks of Weight-Space Programming”, trong đó GPT-6 Astra của OpenAI trực tiếp đọc và chỉnh sửa trọng số của mạng nơ-ron, không qua bộ tối ưu hóa và cũng không dùng suy giảm gradient. Các tác giả gọi cách làm này là “lập trình trong không gian trọng số”.
Kết quả được chú ý nhiều nhất nằm ở Qwen3.5-0.8B, mô hình mã nguồn mở của Alibaba. Mô hình nhỏ này có 24 lớp và khoảng 800 triệu trọng số. Astra trừ đi một “hướng lặp” ở MLP của lớp 15 và lớp 19, tổng cộng sửa 131.072 trọng số, tương đương 0,016% tổng số, và không hề huấn luyện lại.
Hiện tài liệu này mới chỉ là một bài blog, chưa qua bình duyệt đồng cấp, và chính các tác giả cũng gọi đây là kết quả rất sơ khởi.
Tám thí nghiệm: đọc, sửa, viết, có thành có bại
Các tác giả chia nhiệm vụ thành ba nhóm.
Đọc trọng số. Chỉ nhìn trọng số của mạng chính sách PPO, Astra đoán đúng bốn trò chơi lưới là trò nào; nhìn trọng số của ba mô hình DDPM, nó xác định được chúng lần lượt sinh hình tròn, hình tam giác và hình vuông, dù lại vẽ hình đặc thành đường viền rỗng. Với một Transformer cấp ký tự có 7,16 triệu tham số, chỉ cần xem 4 lớp giữa, nó nhận ra kho ngữ liệu huấn luyện của cả ba mô hình và tìm đủ các đầu sao chép.
Sửa trọng số. Trong môi trường Kinetix có một chính sách điều khiển xe leo dốc, ban đầu thất bại cả 256 lượt. Sau khi Astra sửa 3,5% trọng số, cả 1.024 lượt đều vượt qua.
Viết trọng số từ đầu. Với ba trò chơi MinAtar, không có dữ liệu, không có gradient, không có công cụ, Astra phải viết ra một mạng nhỏ trong một lần. Điểm số so với PPO như sau:
| Trò chơi | PPO 100 triệu bước | PPO 500 triệu bước | Astra viết một lần |
|---|---|---|---|
| Breakout | 15,8 | 25,3 | 517,4 |
| Seaquest | 5,6 | 88,9 | 53,1 |
| Asterix | 25,8 | 55,2 | 53,2 |
Cả ba trò đều vượt PPO 100 triệu bước; còn so với PPO 500 triệu bước thì chỉ Breakout vẫn dẫn trước.
Các thất bại cũng được ghi trong blog. Khi phải xác định trong hai mô hình Gemma 3 270M, mô hình nào đã được tinh chỉnh thành kiểu “thích nịnh”, Astra chỉ nhìn trọng số và thử 4 lần đều không thành; chỉ khi được xem thêm mẫu chú ý (attention), cả ba nhóm mới được xác định đúng.
Trong mức tăng 6 lần, bao nhiêu là “sửa vòng lặp”
Mốc cơ sở của nhóm Qwen khá đặc biệt: 93% câu trả lời chạm giới hạn token, mô hình cứ quẩn quanh trong lúc suy luận và đáp án chưa kịp viết xong. Khi Astra được cấp hạn mức 50 lượt lan truyền thuận, các con số thay đổi như sau:
| Chỉ số | Mô hình gốc | Sau chỉnh sửa |
|---|---|---|
| MATH-500 | 7,9% | 48,1% |
| GSM8K | 13,8% | 67,1% |
| IFEval | 21,0% | 62,3% |
| Chạm giới hạn token | 93,0% | 33,1% |
Nhóm đối chứng nói lên nhiều hơn. Gemma 3 270M chỉ có 8,5% câu trả lời chạm giới hạn, điểm cơ sở là 6,8; khi Astra được cấp 5, 10, 25 và 50 lượt lan truyền thuận, điểm lần lượt là 7,0, 7,6, 7,7 và 7,0, về cơ bản không thay đổi. Các tác giả cũng thừa nhận mức cải thiện chủ yếu đến từ việc sửa vòng lặp; chỉnh sửa không thể trao cho mô hình năng lực mà nó vốn không có.
Các nghi vấn từ bên ngoài tập trung vào điểm này. Bản tổng hợp AI News của Latent Space ghi lại thảo luận trong cộng đồng: có bình luận cho rằng mốc 7,9% thấp bất thường, lần chỉnh sửa này gần với phép loại bỏ một hướng đơn của Arditi và cộng sự hơn, và Astra phân tích trong môi trường sandbox Python nên cách nói “đọc ghi trọng số nguyên bản” hơi quá lời. Chính Latent Space cũng gắn nhãn cảnh báo có thể phóng đại cho cách diễn đạt “50 bước”. Những chỉ trích này hiện chủ yếu đến từ khu thảo luận, chưa thấy bản tái lập có hệ thống nào từ bên thứ ba.
"exciting but still limited"
(Thú vị, nhưng vẫn còn hạn chế.)
Đó là đánh giá của các tác giả về khả năng này; giới hạn đến từ độ dài ngữ cảnh và hiệu suất của khung vận hành.
Đặt vào dòng tự cải thiện
Tháng trước, InnovationEval của Epoch AI đo một hướng khác: các mô hình tiên phong tự mày mò phương pháp hậu huấn luyện trong sandbox không có mạng, và kết quả tốt nhất chỉ đạt 15% mức cải thiện của bài báo đối chứng. Con đường đó đi qua các bước lên ý tưởng, viết mã và chạy huấn luyện.
Lập trình trong không gian trọng số bỏ qua bước huấn luyện, nên một số người đem nó ra bàn về tự cải thiện đệ quy. Đặt hai bên cạnh nhau, phạm vi hiện có thể xác nhận vẫn rất hẹp: mô hình có thể tìm ra chỗ sửa được trong những mạng có cấu trúc nhỏ và lỗi rõ ràng; với mô hình lớn hoặc mô hình không có khiếm khuyết rõ rệt, hiện chưa có bằng chứng. Kiểm toán, khả năng điều chỉnh không cần dữ liệu, hợp nhất mô hình và các ứng dụng khác trong blog vẫn chỉ là triển vọng, chưa có thí nghiệm nào chống lưng.
Bước tiếp theo đáng theo dõi là tái lập: đổi sang một mô hình nhỏ không bị lặp, hoặc một tác vụ toán có mốc cơ sở bình thường, để xem Astra còn nâng được điểm số hay không.
Nguồn tham khảo: blog kỹ thuật của các tác giả MIT CSAIL, Machine Heart (Jiqizhixin), CocoLoop, Latent Space AI News; điểm số của Qwen và Gemma lấy theo bảng thí nghiệm do các tác giả công bố, kết quả InnovationEval lấy theo báo cáo của Epoch AI.