Viện nghiên cứu AI Epoch AI hôm 26/10 công bố một loạt thử nghiệm nội bộ: giao cho các mô hình tiên phong những công việc mà đội ngũ này thực sự làm hằng ngày, rồi chấm điểm theo đúng bộ tiêu chuẩn dùng để đánh giá nhân viên. Kết quả tốt nhất thuộc về Claude Fable 5.1 và GPT-6 Astra, với điểm trung bình 65%.
"A 65% score is still a failed task."
(Một nhiệm vụ đạt 65 điểm vẫn là nhiệm vụ chưa hoàn thành.)
Các tác giả bài viết là Kelly Hong, Greg Burnham và Lynette Bye; nội dung là bản tóm lược của loạt "báo cáo về tự động hóa" mà Epoch mới mở.
Chuyện này có tiền đề. Nhà nghiên cứu cấp cao của Epoch, Anson Ho, trước đó từng thử để AI đảm nhận công việc của chính mình; khi ấy AI không hoàn thành được toàn bộ nhiệm vụ, và nhận định của ông là tình hình sẽ thay đổi trước khi thập kỷ này kết thúc. Lần này, thử nghiệm cá nhân được mở rộng thành danh sách nhiệm vụ của cả đội, dùng một bảng tiêu chí chấm điểm thống nhất, và các mô hình tham gia cũng được đổi thành sáu mô hình mạnh nhất hiện nay.
Bài kiểm tra được thiết kế thế nào
Các nhiệm vụ lấy từ công việc hằng ngày của nhân viên Epoch, gồm năm nhóm, trong đó có thiết kế đồ họa, lập kế hoạch dự án nghiên cứu, lập trình và phân tích dữ liệu. Mô hình phải tự thu thập bối cảnh, gọi công cụ và xử lý đủ thứ rắc rối phát sinh trong nhiệm vụ. Cách chấm là xem sản phẩm đầu ra đáp ứng được bao nhiêu mục trong bảng tiêu chí, và bảng này vốn được dùng để đánh giá nhân viên là con người.
Epoch thừa nhận cách làm này tốn công hơn nhiều so với chạy một benchmark chuẩn, bù lại sát với công việc thực tế hơn. Bài viết không nêu tổng số nhiệm vụ.
Phân bố kết quả khá rõ quy luật: với các nhiệm vụ có ranh giới rõ ràng như viết code hay phân tích dữ liệu, mô hình làm khá tốt; với nhiệm vụ mở, chẳng hạn rút ra quy luật từ vài ví dụ hoặc những việc cần tự đưa ra quyết định, mô hình rõ ràng vất vả. Khi được yêu cầu đề xuất hướng nghiên cứu, các ý tưởng của mô hình vẫn còn hữu ích; nhưng đến lúc biến hướng đi đó thành một phương án thí nghiệm có thể thực thi thì dễ nảy sinh vấn đề.
Trong một thí nghiệm thử nghiệm, GPT-6 Astra đặt ngân sách token quá thấp khiến 22% lượt chạy không trả về đáp án, nhưng nó lại đưa những thất bại này vào kết luận như một "phát hiện quan trọng về năng lực mô hình", mà không nhận ra lỗi nằm ở chính cách thiết lập của mình.
Đặt cạnh điểm số của các benchmark chuẩn
Với cùng hai mô hình này, thành tích trên các bảng xếp hạng công khai của từng hãng thường trông đẹp hơn nhiều. GPT-6.1 Terra mà OpenAI vừa phát hành hoàn thành 50,3% nhiệm vụ ở mức cao nhất của Terminal-Bench 4.0 và đã được quảng bá như một bước tiến lớn; các benchmark thao tác máy tính như Agents' Last Exam hay OSWorld cũng ngày càng dùng "tỷ lệ hoàn thành" để kể câu chuyện của mình.
Con số 65% của Epoch không thể quy đổi trực tiếp sang các điểm số đó. Con số trước là "tỷ lệ các mục tiêu chí được đáp ứng", còn phần lớn con số sau là "tỷ lệ bài làm đúng trọn vẹn". Epoch đặc biệt lưu ý trong bài: 65% không có nghĩa là hai phần ba công việc đã được tự động hóa; điểm số có thể chủ yếu đến từ những mục dễ lấy, và xét về thời gian bỏ ra lẫn độ khó, việc đáp ứng 65% số mục còn xa mới tương đương 65% tiến độ.
"Every one of those tasks would be rejected or revised if a human had submitted it."
(Nếu những sản phẩm này do con người nộp, mỗi cái đều sẽ bị trả lại hoặc yêu cầu làm lại.)
Cũng có một thay đổi thực tế: Epoch đã gỡ một nhiệm vụ vẽ biểu đồ cơ bản khỏi bộ kiểm tra, vì Fable 5.1 phần lớn thời gian chỉ cần một lần là vẽ ra được biểu đồ đạt yêu cầu, và hiện nay đội ngũ đã để AI đảm nhận một phần bước này.
Theo các tác giả, mỗi khi mô hình tiến bộ thêm một vòng, sẽ có thêm nhiều nhiệm vụ vượt qua ranh giới "đạt 100%"; chỉ đến lúc đó con người mới yên tâm giao hẳn cho AI, và tác động kinh tế cũng bắt đầu lộ rõ từ thời điểm ấy. Nhiệm vụ nào sẽ vượt qua trước, Epoch dự định theo dõi từng mục trong các báo cáo tiếp theo.
Nguồn tham khảo: chuyên mục nghiên cứu của Epoch AI, CocoLoop, thông báo sản phẩm của OpenAI; phần giải thích bảng tiêu chí chấm điểm của Epoch dùng để đối chiếu cách thống kê điểm 65%.