Ngày 9/11, nhóm ERNIE của Baidu công bố trên blog kỹ thuật hệ thống nghiên cứu tự động ERNIE Evolve. Theo mô tả trong blog, hệ thống để nhiều tác tử (agent) phân công nhau thúc đẩy một đề tài nghiên cứu: chọn hướng đi, đặt giả thuyết, sửa mã, chạy đánh giá và kiểm tra lại kết quả. Nhóm đã dùng nó chạy bốn tác vụ tối ưu công khai, trong đó ba tác vụ vượt thành tích tốt nhất từ trước đến nay; ngoài ra còn thực hiện ba hạng mục tối ưu trên phần triển khai suy luận cho mô hình ERNIE-5.5-Flash của chính Baidu.
Năm vai trò, hai vòng lặp
Hệ thống chia thành vòng ngoài và vòng trong. Blog tóm tắt như sau:
“Vòng ngoài quyết định nghiên cứu cái gì, vòng trong lo làm cho một hướng đi thật tốt.”
Director ở vòng ngoài chọn hướng cần kiểm chứng tiếp theo từ kho kinh nghiệm và kho tri thức, đồng thời quyết định xuất phát từ phiên bản mã nào: có thể là mã gốc, phiên bản tốt nhất trong lịch sử, một phiên bản trung gian, hoặc commit mới nhất của kho mã thượng nguồn. Ở vòng trong, mỗi lượt Selector chọn một phiên bản ứng viên làm điểm khởi đầu và viết ra giả thuyết của lượt đó; căn cứ của nó không chỉ là điểm số mà còn gồm các thay đổi mã, nguyên nhân thất bại và kết quả lịch sử. Executor sửa mã trong một môi trường cô lập.
Hai vai trò còn lại làm nhiệm vụ gác cổng. Evaluator đặt bên ngoài kho mã được tối ưu, mọi tác tử đều không nhìn thấy nó, và mức cải thiện chỉ được chấp nhận khi vượt ngưỡng nhiễu; Reviewer kiểm tra xem thay đổi có lệch khỏi hướng của lượt đó không và thành tích có lợi dụng kẽ hở của khâu đánh giá không. Phiên bản lệch hướng không thể trở thành phiên bản tốt nhất, còn phiên bản lợi dụng kẽ hở sẽ bị hủy ngay. Lỗi thường gặp nhất của các hệ thống tối ưu tự động là học cách chiều lòng điểm số trong khi bản thân mã không tốt hơn; hai lớp chốt chặn này nhắm đúng vào vấn đề đó.
Thành tích trên các tác vụ công khai
| Tác vụ | Thành tích tốt nhất trước đó | ERNIE Evolve |
|---|---|---|
| NanoChat AutoResearch (BPB trên tập kiểm định, càng thấp càng tốt) | 0,8878 | 0,8763 |
| NanoGPT Speedrun Track 1 (thời gian huấn luyện đạt chuẩn) | 39,9 giây | 38,9 giây |
| NanoGPT Speedrun Track 3 (số bước huấn luyện đạt chuẩn) | 2690 bước | 2590 bước |
| SOL-ExecBench (điểm SOL trung bình, càng cao càng tốt) | 0,827 | 0,819 |
Ở SOL-ExecBench, hệ thống không giành vị trí số một, nhưng vẫn cao hơn Recursive (0,676) và Hyra-1.0 (0,736). Kết quả tối ưu của các tác vụ công khai được đưa lên kho GitHub ernie-research/ERNIE-Evolve-Results; còn bản thân hệ thống ERNIE Evolve có mở mã nguồn hay không thì blog không đề cập.
Một phép tính về tối ưu suy luận
Các con số ở tác vụ công nghiệp lớn hơn. Trong kịch bản độ trễ thấp trên Kunlunxin P800, hệ thống chạy bốn vòng với bốn hướng nghiên cứu, đưa tốc độ sinh lên 623,6% so với mốc cơ sở và vượt qua toàn bộ các kiểm tra tính đúng đắn. Blog nêu một phát hiện then chốt: đường truyền thông ban đầu thực ra chưa hề kích hoạt giao tiếp độ trễ thấp DeepEP. Trong mức tăng tốc hơn sáu lần, bao nhiêu phần đến từ việc tìm ra cấu hình không có hiệu lực này và bao nhiêu phần đến từ phương pháp tối ưu mới, blog không tách bạch.
Với hạng mục suy luận tất định, thông lượng tăng 33,7%, thời gian sinh mỗi token rút ngắn 26%, độ trễ token đầu tiên giảm 12%, tính tất định được giữ nguyên, và toàn bộ quá trình mất khoảng 3 ngày. Với hạng mục giải mã GPU cực hạn, hệ thống đề xuất 7 hướng, trong đó 3 hướng mang lại cải thiện, tốc độ giải mã tăng 14,9% và độ chính xác khớp với mốc cơ sở.
Tính nhẩm một chút: thông lượng nhiều hơn 33,7% thì với cùng lượng yêu cầu, số card cần dùng còn khoảng 75% so với trước (1 ÷ 1,337). Nếu hạng mục tối ưu này có thể chuyển nguyên vẹn lên cụm máy chủ trực tuyến, phần tiết kiệm được là khoảng một phần tư năng lực tính toán suy luận. Mỗi trong ba tác vụ tốn bao nhiêu giờ GPU, blog không công bố, nên khoản này hiện chỉ tính được vế lợi ích, còn vế chi phí vẫn bỏ trống.
Blog viết khá thẳng về độ khó:
“Mốc cơ sở vốn đã bao gồm các tối ưu chuyên biệt của kỹ sư cho suy luận tất định; phần cải thiện còn lại thường chỉ 1% – 2% cho mỗi hạng mục, ngang với dao động của phép đo.”
Không ít giả thuyết đã bị thực nghiệm bác bỏ; chẳng hạn một lần truyền thông giữa các card đã gần chạm giới hạn dưới của độ trễ, nên hướng này dừng lại ở đó.
Ở cuối bài, nhóm nhắc rằng việc mở rộng tự cải thiện đệ quy (RSI) phải có thể kiểm soát, có thể tạm dừng, đồng thời chịu đánh giá an toàn và giám sát của con người. Từ các tác vụ đã công bố, hiện ERNIE Evolve sửa các tập lệnh huấn luyện và mã suy luận, chưa đụng đến quá trình huấn luyện của chính mô hình.
Nguồn tham khảo: blog kỹ thuật Baidu ERNIE, kho mã mở ERNIE-Evolve-Results, CocoLoop; đã đối chiếu thành tích bốn tác vụ công khai và mức cải thiện của ba hạng mục tối ưu suy luận trên ERNIE-5.5-Flash.