Anthropicのエンジニア、Vivek Nair氏は11月17日、Claude開発者ブログに振り返り記事を公開した。Claude Docsの公開前の2週間、1つのClaude Codeセッションに負荷試験、問題の洗い出し、コード修正を休まず続けさせ、公開後のトラフィックを乗り切るまでの経緯をまとめたものだ。
Claude Docsは、Anthropicが9月16日に投入したドキュメントエディタ。ユーザー、同僚、Claudeが同じドキュメントで共同作業でき、チャット画面からClaude Codeまで、あらゆるClaudeセッションが同じドキュメントを開いてリアルタイムに読み書きやコメントができる。公開の3週間前まで、これは単一ノードで動く概念実証にすぎず、社内の数千人の従業員が使っていた。
公開後の結果について、筆者は記事でこう書いている。
“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.”
20億件のリクエストでサーバーエラーはわずか60件。一度もロールバックしなかった。
1つのセッションを2週間回し続ける
負荷試験は9月4日、公開のおよそ2週間前に始まった。環境は本番を模したステージングクラスタで、毎日100万件を超える合成ドキュメントを生成した。
調整役は常時稼働するClaude Codeセッションで、ループの手順は短い。シナリオを選び、負荷試験ツールを走らせ、監視データを読み、修正案を出し、ステージングにデプロイして、また最初に戻る。実作業の大半はサブエージェントに任せ、最も忙しい週は通常11個、ピーク時は30個が同時に動いていた。監視データはDatadogのMCP経由で取得し、変更案は別のセッションでレビューした。使ったのは社内の研究モデルで、能力はおおむねClaude Fable 5.2相当だと筆者は述べている。
チームが事前に書き出した障害シナリオには、1日に1,000万件のドキュメントを新規作成、2万2,000の接続が同時に再接続、数百人が閲覧中の人気ドキュメントを読み込む最中にサーバーを強制終了しつつデータベースも詰まらせる、といったものが含まれる。
権限には一線を引いた。元に戻しやすい変更はClaudeが自分で書き、デプロイし、再テストする。一方、データベースのスキーマ、キーの配置、ドキュメントの保存・生成方法に関わる変更は人間の承認が必要とした。さらにClaudeには、破れない制約を2つ課した。履歴がどれだけ長いドキュメントでも、ほぼ一瞬で開けること。サーバーが確認済みとした編集は、テストでその存在を証明できること。
メモリ問題の直し方
記事で詳しく取り上げられている例がメモリだ。大きなドキュメント1件が、1つのpodで約3GBを占めていた。
Claudeは当初、あるキャッシュが大きすぎると判断し、それを縮小してサーバーがドキュメントを早くメモリから追い出すようにした。次のテストでは、メモリが実は依存ライブラリ内部の別のキャッシュに滞留していることが分かり、この変更は取り消された。約3日の試行錯誤の末、より細かなメモリ解析で根本原因が見つかる。キーを1回打つたびに、ドキュメントが複数のデータ構造へコピーされ、そのたびに数MBずつ増えていたのだ。Claudeはこれらの構造をコピーオンライトに改め、同じ参照を共有させた結果、このドキュメントのピークメモリは約180MBまで下がった。
筆者の試算では、公開に必要だったメモリ最適化型podは500余りから約50に減った。公開後、Docsサービス全体は約50のpodで稼働している。最初の100万件のドキュメントは約30時間で生まれ、9月22日までにユーザーが作成したドキュメントは460万件を超えた。
この推論コストはいくらだったか
筆者がClaude Fable 5.2のAPI定価で換算したところ、8月末から公開日まで、このループで使った推論費用は約12万5,000ドル。手順を探る間にトークンをかなり使ったことも認めており、“we could have spent about half as much”、つまり半分で済んだはずだという。
ざっと見積もると、節約できた約450のメモリ最適化型podは、一般的なクラウド事業者の大容量メモリインスタンスの価格なら、1か月分の賃料だけで12万5,000ドルを超える可能性が高い。ただしインスタンスの仕様次第で、記事にはpodの構成が示されていないため、ここでは桁の目安を出すにとどまる。
はるかに小さなチームについては、2週間規模の同様の作業は定価でおよそ3,000〜10,000ドルと筆者は見ており、“I haven't actually run this”と注記している。この金額は本人が実際に試した数字ではない。
この手法が成り立った理由として、筆者は最近のモデルの長時間タスク能力を挙げる。数か月前のモデルは、長いループで10〜20ラウンドも回すと何を最適化しているのかを忘れ、目標を何度も言い直す必要があった。今回のClaudeは、複数回のコンテキスト圧縮を経ても、すべての制約を守り続けた。サービスはRustで書かれ、依存を極力減らしているのは、監視シグナルをよりきれいにするためだという。ただし、RustとGoを正式に比較したことはない、とも筆者は述べている。
参考資料:Claude開発者ブログ、CocoLoop、Anthropic製品説明。リクエスト数、エラー件数、pod数、推論費用はいずれもAnthropicのエンジニアリングチームの自己申告で、第三者による検証は行われていない。