Anthropic 工程師 Vivek Nair 11 月 17 日在 Claude 開發者部落格發表了一篇回顧,講團隊如何在 Claude Docs 上線前的兩週,讓一個 Claude Code 工作階段不停地壓測、找問題、改程式碼,最後撐住了上線後的流量。
Claude Docs 是 Anthropic 9 月 16 日推出的文件編輯器,使用者、同事和 Claude 可以在同一份文件裡協作,從聊天介面到 Claude Code,任何 Claude 工作階段都能開啟同一份文件即時讀寫與留言。上線前三週,它還只是跑在單一節點上的概念驗證,公司內部幾千名員工在使用。
對於上線後的結果,作者在文中寫道:
“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.”
在 20 億次請求中,我們只遇到 60 次伺服器錯誤,一次都沒有回滾。
一個工作階段,循環兩週
壓測從 9 月 4 日開始,距離上線大約兩週。環境是一套鏡像正式環境的預備叢集,每天產生超過一百萬份合成文件。
協調者是一個持續運作的 Claude Code 工作階段,循環只有幾個步驟:挑一個情境、執行壓測工具、讀取監控數據、提出修復方案、部署到預備環境,然後重來。大部分具體工作交給子代理,最忙的那週通常有 11 個子代理同時在跑,高峰時達 30 個。監控數據透過 Datadog 的 MCP 讀取,修改方案會在另一個工作階段中再審一遍。作者表示,使用的是一個內部研究模型,能力大致與 Claude Fable 5.2 相當。
團隊事先寫下的故障情境包括:單日新建 1000 萬份文件、22000 個連線同時重連、一份有幾百人在看的熱門文件在載入時伺服器被砍掉,同時資料庫出現卡頓。
權限上畫了一條線。容易復原的改動,Claude 自己寫、自己部署、自己重測;涉及資料庫 schema、key 的配置,以及文件儲存與生成方式的改動,則要由人來批准。團隊還替 Claude 訂了兩條不能打破的限制:歷史再長的文件也要幾乎瞬間開啟;伺服器確認過的編輯,測試必須證明它仍然存在。
一個記憶體問題的修法
文中完整展開的例子是記憶體。一份大型文件在單一 pod 上佔了約 3 GB。
Claude 最初的判斷是某個快取太大,於是把它縮小,讓伺服器更快把文件踢出記憶體。下一輪測試顯示,記憶體其實卡在某個依賴函式庫內部的另一個快取裡,這項改動因此被撤回。迭代了大約三天後,更細緻的記憶體分析找到了根源:每敲一次鍵,文件都會被複製進好幾個資料結構,每次多出幾 MB。Claude 把這些結構改成寫入時複製(copy-on-write),共用同一份參照,這份文件的峰值記憶體降到約 180 MB。
依作者估算,上線所需的記憶體最佳化型 pod 因此從 500 多個降到約 50 個。上線後整個 Docs 服務跑在約 50 個 pod 上,前 100 萬份文件大約 30 小時就出現了,到 9 月 22 日使用者已建立超過 460 萬份文件。
這筆推論費用花了多少
作者依 Claude Fable 5.2 的 API 定價折算,從 8 月底到上線當天,這套循環大約用掉 12.5 萬美元的推論費用。他也承認,摸索流程時燒掉不少 token,“we could have spent about half as much”,本來只需要花一半。
粗略算一下:省下的約 450 個記憶體最佳化型 pod,以常見雲端業者的大記憶體執行個體價格來看,一個月的租金很可能就超過這 12.5 萬美元,實際取決於執行個體規格,文中沒有給出 pod 的配置,這裡只能估個量級。
對於規模小得多的團隊,作者估計兩週量級的類似工作按定價大約要 3000 到 10000 美元,並註明“I haven't actually run this”,這個數字他自己並沒有實際跑過。
作者把這套做法能跑通歸因於近期模型的長任務能力:幾個月前的模型在一個長循環裡跑上十到二十輪,就會忘記自己在最佳化什麼,他得反覆重申目標。這次 Claude 在多次上下文壓縮之後,仍然守住了全部限制。服務以 Rust 撰寫、盡量少用依賴,是為了讓監控訊號更乾淨,不過作者也說,團隊並未正式比較過 Rust 和 Go。
參考來源:Claude 開發者部落格、CocoLoop、Anthropic 產品說明;請求量、錯誤次數、pod 數量與推論費用皆為 Anthropic 工程團隊自述,未經第三方查證。