Kỹ sư Vivek Nair của Anthropic ngày 17/11 đã đăng một bài nhìn lại trên blog dành cho nhà phát triển của Claude. Bài viết kể cách nhóm của ông, trong hai tuần trước khi Claude Docs ra mắt, để một phiên Claude Code chạy không ngừng: kiểm thử tải, tìm lỗi, sửa mã, rồi lặp lại, và cuối cùng hệ thống chịu được lượng truy cập sau khi ra mắt.
Claude Docs là trình soạn thảo tài liệu mà Anthropic giới thiệu ngày 16/9. Người dùng, đồng nghiệp và Claude có thể cộng tác trong cùng một tài liệu; bất kỳ phiên Claude nào, từ giao diện trò chuyện đến Claude Code, đều có thể mở cùng một tài liệu để đọc, ghi và bình luận theo thời gian thực. Ba tuần trước khi ra mắt, sản phẩm mới chỉ là một bản proof of concept chạy trên một node duy nhất, với vài nghìn nhân viên nội bộ sử dụng.
Về kết quả sau khi ra mắt, tác giả viết:
“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.”
Trong 2 tỷ yêu cầu, chúng tôi chỉ gặp 60 lỗi phía máy chủ và chưa lần nào phải rollback.
Một phiên làm việc, lặp lại suốt hai tuần
Đợt kiểm thử tải bắt đầu từ ngày 4/9, cách thời điểm ra mắt khoảng hai tuần. Môi trường là một cụm staging phản chiếu production, mỗi ngày tạo ra hơn một triệu tài liệu tổng hợp.
Vai trò điều phối thuộc về một phiên Claude Code chạy liên tục, với vòng lặp chỉ gồm vài bước: chọn một kịch bản, chạy công cụ kiểm thử tải, đọc dữ liệu giám sát, đề xuất cách sửa, triển khai lên staging rồi làm lại từ đầu. Phần lớn công việc cụ thể được giao cho các tác tử con; trong tuần bận nhất thường có 11 tác tử con chạy đồng thời, đỉnh điểm là 30. Dữ liệu giám sát được đọc qua MCP của Datadog, còn các thay đổi được rà soát trong một phiên riêng. Tác giả cho biết nhóm dùng một mô hình nghiên cứu nội bộ, có năng lực xấp xỉ Claude Fable 5.2.
Các kịch bản sự cố nhóm viết sẵn gồm: 10 triệu tài liệu mới được tạo trong một ngày, 22.000 kết nối trực tuyến cùng kết nối lại, và một tài liệu nổi tiếng có vài trăm người đang xem bị máy chủ tắt đột ngột khi đang tải, đồng thời cơ sở dữ liệu bị chậm.
Về quyền hạn có một ranh giới rõ ràng. Với những thay đổi dễ hoàn tác, Claude tự viết, tự triển khai và tự kiểm thử lại; còn những thay đổi liên quan đến schema cơ sở dữ liệu, cách bố trí key, cách lưu trữ và sinh tài liệu thì phải do con người phê duyệt. Nhóm cũng đặt cho Claude hai ràng buộc không được phá vỡ: tài liệu dù có lịch sử dài đến đâu cũng phải mở gần như tức thì; và với mọi chỉnh sửa đã được máy chủ xác nhận, bài kiểm thử phải chứng minh nó vẫn còn đó.
Cách xử lý một vấn đề bộ nhớ
Ví dụ được bài viết trình bày đầy đủ là về bộ nhớ. Một tài liệu lớn chiếm khoảng 3 GB trên một pod.
Nhận định ban đầu của Claude là một bộ nhớ đệm nào đó quá lớn, nên nó thu nhỏ bộ đệm này để máy chủ đẩy tài liệu ra khỏi bộ nhớ nhanh hơn. Vòng kiểm thử tiếp theo cho thấy bộ nhớ thực ra bị kẹt trong một bộ đệm khác nằm bên trong một thư viện phụ thuộc, nên thay đổi này bị hoàn tác. Sau khoảng ba ngày lặp lại, phân tích bộ nhớ chi tiết hơn đã tìm ra nguyên nhân gốc: mỗi lần gõ phím, tài liệu lại bị sao chép vào nhiều cấu trúc dữ liệu, mỗi lần phát sinh thêm vài MB. Claude chuyển các cấu trúc này sang cơ chế copy-on-write, dùng chung một tham chiếu, và mức bộ nhớ đỉnh của tài liệu đó giảm xuống còn khoảng 180 MB.
Theo ước tính của tác giả, số pod tối ưu bộ nhớ cần cho đợt ra mắt nhờ vậy giảm từ hơn 500 xuống còn khoảng 50. Sau khi ra mắt, toàn bộ dịch vụ Docs chạy trên khoảng 50 pod; một triệu tài liệu đầu tiên xuất hiện sau khoảng 30 giờ, và đến ngày 22/9 người dùng đã tạo hơn 4,6 triệu tài liệu.
Chi phí suy luận là bao nhiêu
Tác giả quy đổi theo giá niêm yết API của Claude Fable 5.2 và cho biết từ cuối tháng 8 đến ngày ra mắt, vòng lặp này tiêu tốn khoảng 125.000 USD chi phí suy luận. Ông cũng thừa nhận trong lúc mày mò quy trình đã đốt khá nhiều token: “we could have spent about half as much”, tức lẽ ra chỉ cần chi một nửa.
Thử tính nhẩm: khoảng 450 pod tối ưu bộ nhớ được tiết kiệm, nếu tính theo giá thuê các máy chủ bộ nhớ lớn thường thấy ở các nhà cung cấp đám mây, thì tiền thuê một tháng rất có thể đã vượt 125.000 USD. Điều này còn tùy cấu hình máy chủ; bài viết không nêu cấu hình của pod, nên ở đây chỉ có thể ước lượng theo bậc độ lớn.
Với những nhóm nhỏ hơn nhiều, tác giả ước tính một khối lượng công việc tương tự trong khoảng hai tuần sẽ tốn chừng 3.000 đến 10.000 USD theo giá niêm yết, kèm chú thích “I haven't actually run this” (tôi chưa thực sự chạy thử), nghĩa là chính ông chưa kiểm chứng con số này.
Tác giả cho rằng cách làm này chạy được là nhờ năng lực xử lý tác vụ dài của các mô hình gần đây: những mô hình cách đây vài tháng chạy mười đến hai mươi vòng trong một vòng lặp dài là quên mất mình đang tối ưu cái gì, và ông phải liên tục nhắc lại mục tiêu. Lần này Claude vẫn giữ được mọi ràng buộc sau nhiều lần nén ngữ cảnh. Dịch vụ được viết bằng Rust và hạn chế tối đa thư viện phụ thuộc để tín hiệu giám sát sạch hơn, tuy nhiên tác giả cũng nói nhóm chưa so sánh Rust với Go một cách chính thức.
Nguồn tham khảo: blog dành cho nhà phát triển của Claude, CocoLoop, tài liệu sản phẩm của Anthropic; số lượng yêu cầu, số lỗi, số pod và chi phí suy luận đều do đội ngũ kỹ sư Anthropic tự công bố, chưa được bên thứ ba xác minh.