Claude连跑两周压测,Docs上线零回滚

AI 编程题图:机械臂把红色模块装进积木结构

Anthropic 工程师 Vivek Nair 11 月 17 日在 Claude 开发者博客上发了一篇复盘,讲团队怎样在 Claude Docs 上线前两周,让一个 Claude Code 会话不停地压测、找问题、改代码,最后扛住了上线后的流量。

Claude Docs 是 Anthropic 9 月 16 日推出的文档编辑器,用户、同事和 Claude 可以在同一份文档里协作,从聊天界面到 Claude Code,任何 Claude 会话都能打开同一份文档实时读写和评论。上线前三周,它还只是跑在单个节点上的概念验证,内部几千名员工在用。

上线后的结果,作者在文中写道:

“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.” 在 20 亿次请求里,我们只遇到 60 次服务端错误,一次都没有回滚。

一个会话,循环两周

压测从 9 月 4 日开始,距上线大约两周。环境是一套镜像生产的预发集群,每天生成超过一百万个合成文档。

协调者是一个持续运行的 Claude Code 会话,循环只有几步:挑一个场景、跑压测工具、读监控数据、提出修复方案、部署到预发环境,然后重来。大部分具体工作交给子代理,最忙的那周通常有 11 个子代理同时在跑,峰值 30 个。监控数据通过 Datadog 的 MCP 读取,改动方案会在单独的会话里审一遍。作者说用的是一个内部研究模型,能力大致与 Claude Fable 5.2 相当。

团队事先写下的故障场景包括:单日新建 1000 万个文档、22000 个在线连接同时重连、一个有几百人在看的热门文档在加载时服务器被杀掉,同时数据库出现卡顿。

权限上有一条线。容易撤销的改动,Claude 自己写、自己部署、自己重测;涉及数据库 schema、key 的布局、文档存储和生成方式的改动,要人来批。团队还给 Claude 定了两条不能破的约束:再长历史的文档也要几乎瞬间打开;服务器确认过的编辑,测试必须证明它还在。

一个内存问题的修法

文中完整展开的例子是内存。一份大文档在单个 pod 上占了约 3 GB。

Claude 最初的判断是某个缓存太大,于是把它缩小,让服务器更快把文档踢出内存。下一轮测试显示内存其实卡在一个依赖库内部的另一个缓存里,这个改动被撤回。迭代了大约三天后,更细的内存分析找到了根源:每敲一次键,文档都会被复制进好几个数据结构,每次多出几 MB。Claude 把这些结构改成写时复制,共享同一份引用,这份文档的峰值内存降到约 180 MB。

照作者的估算,上线所需的内存优化型 pod 因此从 500 多个降到约 50 个。上线后整个 Docs 服务跑在约 50 个 pod 上,前 100 万个文档大约 30 小时就出现了,到 9 月 22 日用户已建了超过 460 万个文档。

这笔推理钱花了多少

作者按 Claude Fable 5.2 的 API 列表价折算,从 8 月底到上线日,这套循环大约用掉 12.5 万美元的推理费用。他也承认,摸索流程时烧掉不少 token,“we could have spent about half as much”,本可以只花一半。

粗算一下:省下的约 450 个内存优化型 pod,按常见云厂商的大内存实例价格,一个月的租金很可能就超过这 12.5 万美元,具体取决于实例规格,文中没有给出 pod 的配置,这里只能估个量级。

对规模小得多的团队,作者估计两周量级的类似工作按列表价大约要 3000 到 10000 美元,并注明“I haven’t actually run this”,这个数字他自己没有实际跑过。

作者把这套做法能跑通归因于近期模型的长任务能力:几个月前的模型在一个长循环里跑上十到二十轮,就会忘记在优化什么,他得反复重申目标。这次 Claude 在多次上下文压缩之后仍然守住了全部约束。服务用 Rust 写、尽量少用依赖,是为了让监控信号更干净,不过作者也说,团队没有拿 Rust 和 Go 正式比过。

参考来源:Claude 开发者博客、CocoLoop、Anthropic 产品说明;请求量、错误次数、pod 数量和推理费用均为 Anthropic 工程团队自述,未经第三方核验。