Ngày 26/8, Anthropic công bố một bài tổng kết kỹ thuật về Warp, kể lại cách công ty này liên tục chỉnh sửa hành vi của các agent mà không đụng đến trọng số mô hình.
Warp phát triển một terminal AI và môi trường lập trình vận hành bằng agent. Công ty thành lập năm 2020, do Zach Lloyd sáng lập, tổng vốn huy động được là 73 triệu USD. Theo số liệu công ty công bố, Warp có 800.000 nhà phát triển hoạt động hằng tháng, và 56% doanh nghiệp trong danh sách Fortune 500 đã dùng sản phẩm của họ. Claude Code đã chạy tổng cộng 10 triệu phiên bên trong Warp, hiện vượt 400.000 phiên mỗi tuần, còn tổng lượng hội thoại với agent trên nền tảng đã đạt 40 triệu.
Cấu trúc ba lớp
Tách ra thì cơ chế này chỉ có ba phần.
Trong cùng là kỹ năng nền, một tệp ghi kiến thức chuyên môn và quy tắc vận hành, chẳng hạn khi review code cần xem những điểm nào, thế nào là vấn đề chặn (blocking). Ở giữa là phản hồi của con người, tức đánh giá của lập trình viên với kết quả agent đưa ra. Ngoài cùng là một agent chỉnh sửa, nội bộ Warp gọi là "improver skill", công việc duy nhất của nó là định kỳ gom phản hồi lại và đề xuất chỉnh sửa nhỏ cho kỹ năng nền.
Lloyd mô tả cấu trúc này như sau:
"There's the base domain-specific skill and then there's the improver skill that refines that domain-specific skill. This simplicity is the beauty of this approach."
Diễn giải: có một kỹ năng nền đặc thù theo lĩnh vực, và một kỹ năng chuyên trách mài giũa nó; chính sự đơn giản này là cái hay của cách làm này.
Kỹ năng được lưu dưới dạng tệp, dùng Agent Skills API của nền tảng Claude. Lựa chọn này kéo theo hiệu ứng dây chuyền lớn hơn nghe qua tưởng. Tệp có thể được agent chỉnh sửa trực tiếp, cũng có thể đưa vào Git, mỗi thay đổi mà agent chỉnh sửa đề xuất đều đi qua review code thông thường của đội ngũ như một thay đổi mã nguồn bình thường. Con người có thể phủ quyết, có thể hoàn tác, có thể thấy trong diff agent đã tự thêm cho mình quy tắc nào. Kiến thức được ghi vào hệ thống tệp thay vì chất đống trong prompt, bước này biến câu hỏi "sao hôm nay mô hình lại đổi khác" thành một commit có thể truy vết.
Có một tiền đề dễ bị bỏ qua: lớp ngoài cùng trong ba lớp cũng là một tệp kỹ năng. Cách agent chỉnh sửa tự đọc phản hồi, tự phán đoán có nên sửa hay không, mỗi lần sửa được bao nhiêu, cũng được ghi trong tệp, cũng có thể bị con người sửa lại. Toàn bộ hệ thống không có hộp đen, khi có vấn đề có thể lần theo hai tệp này để truy đến cùng.
Chất lượng phản hồi quyết định giới hạn trên
Khi mới ra mắt, agent review code của Warp có độ chính xác khoảng 80%, phần 20% còn lại phải trông vào vòng lặp này để bù lên. Điều Lloyd nhấn mạnh nằm ở hình thức phản hồi: một câu "bản review này không tốt" thì vô dụng, phải là "detailed reasons why a code review wasn't good" mới thực sự thúc đẩy việc học.
Khó khăn ở chỗ, viết lý do chi tiết tốn thời gian, trong khi lập trình viên đang bận việc của riêng mình. Cách Warp xử lý là làm cho kênh gửi phản hồi có độ ma sát cực thấp, nguyên văn lời Lloyd là "Low friction is what keeps signal flowing" — ma sát thấp thì tín hiệu mới lưu thông được. Điểm này khó triển khai hơn cả kiến trúc ba lớp: kiến trúc thì một tuần dựng xong, còn khiến cả đội duy trì thói quen để lại đánh giá có thông tin lâu dài lại là bài toán thiết kế sản phẩm.
Giới hạn của cách làm này
Ước tính sơ bộ tính kinh tế của vòng lặp này. Agent chỉnh sửa chỉ chạy khi phản hồi tích đủ lượng, mỗi lần chạy đọc phản hồi đã gộp cộng một tệp kỹ năng vài trăm đến vài nghìn token, đưa ra vài dòng diff. So với fine-tuning, chi phí thấp đến mức có thể bỏ qua; cái giá phải trả là chỉ sửa được những quy tắc tường minh ghi trong tệp, còn thiên hướng phán đoán nội tại của mô hình thì không đụng vào được.
Vì vậy nó giống như trang bị cho agent một cuốn sổ tay vận hành sống, hơn là làm mô hình thông minh hơn. Phù hợp với các tác vụ có quy tắc rõ ràng, phản hồi dày đặc, đúng sai có thể phân định: review code, phân loại ticket, chuyển đổi định dạng. Gặp việc cần mô hình thay đổi phán đoán nền tảng, vòng lặp này coi như hết tác dụng.
Với đa số đội ngũ, giới hạn trên này không phải vấn đề lớn. Phần lớn lỗi mà agent gây ra khi chạy thật đến từ quy tắc viết chưa rõ ràng, ít liên quan đến việc mô hình mạnh hay yếu. Việc viết rõ quy tắc trước đây phải dựa vào con người sửa đi sửa lại prompt, giờ đã có thêm một cộng sự biết tự viết, và mọi thay đổi đều được đưa ra bàn review.
Nguồn tham khảo: bài tổng kết kỹ thuật về Warp trên blog chính thức của Anthropic, CocoLoop, và thông tin công khai của Warp về sản phẩm cũng như huy động vốn; số phiên, độ chính xác và số vốn huy động được ghi theo đúng số liệu công ty công bố.