Der Anthropic-Ingenieur Vivek Nair hat am 17. November im Entwicklerblog von Claude einen Rückblick veröffentlicht. Darin beschreibt er, wie sein Team in den zwei Wochen vor dem Start von Claude Docs eine einzige Claude-Code-Sitzung ununterbrochen Lasttests fahren, Probleme suchen und Code ändern ließ – und wie das System dem Ansturm nach dem Start standhielt.
Claude Docs ist ein Dokumenteneditor, den Anthropic am 16. September vorgestellt hat. Nutzer, Kollegen und Claude arbeiten darin am selben Dokument zusammen; jede Claude-Sitzung, von der Chat-Oberfläche bis zu Claude Code, kann dasselbe Dokument öffnen und in Echtzeit lesen, schreiben und kommentieren. Drei Wochen vor dem Start war es noch ein Proof of Concept auf einem einzelnen Knoten, den einige tausend interne Beschäftigte nutzten.
Zum Ergebnis nach dem Start schreibt der Autor:
“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.”
Bei 2 Milliarden Anfragen traten nur 60 Serverfehler auf, und wir mussten nie zurückrollen.
Eine Sitzung, zwei Wochen im Kreis
Die Lasttests begannen am 4. September, rund zwei Wochen vor dem Start. Als Umgebung diente ein Staging-Cluster, der die Produktion spiegelte und täglich mehr als eine Million synthetischer Dokumente erzeugte.
Koordiniert wurde das Ganze von einer dauerhaft laufenden Claude-Code-Sitzung, deren Schleife nur wenige Schritte umfasste: ein Szenario auswählen, das Lasttest-Werkzeug starten, die Monitoring-Daten lesen, eine Korrektur vorschlagen, sie im Staging ausrollen und von vorn beginnen. Die konkrete Arbeit übernahmen größtenteils Subagenten; in der betriebsamsten Woche liefen meist 11 gleichzeitig, in der Spitze 30. Die Monitoring-Daten wurden über den MCP-Zugang von Datadog gelesen, die Änderungen in einer separaten Sitzung gegengeprüft. Nach Angaben des Autors kam ein internes Forschungsmodell zum Einsatz, dessen Fähigkeiten in etwa denen von Claude Fable 5.2 entsprechen.
Zu den vorab festgelegten Störungsszenarien gehörten 10 Millionen neu angelegte Dokumente an einem Tag, 22.000 Online-Verbindungen, die sich gleichzeitig neu aufbauen, und ein beliebtes Dokument mit mehreren hundert Betrachtern, bei dem der Server während des Ladens beendet wird, während die Datenbank zugleich stockt.
Bei den Befugnissen gab es eine klare Grenze. Leicht rückgängig zu machende Änderungen schrieb, deployte und testete Claude selbst erneut; Änderungen am Datenbankschema, am Aufbau der Schlüssel sowie an der Speicherung und Erzeugung von Dokumenten musste ein Mensch freigeben. Außerdem gab das Team Claude zwei Randbedingungen vor, die nicht verletzt werden durften: Auch Dokumente mit langer Historie müssen nahezu sofort öffnen, und bei jeder vom Server bestätigten Bearbeitung muss ein Test belegen, dass sie noch vorhanden ist.
Wie ein Speicherproblem gelöst wurde
Das im Text ausführlich dargestellte Beispiel betrifft den Arbeitsspeicher. Ein großes Dokument belegte auf einem einzelnen Pod rund 3 GB.
Claudes erste Einschätzung lautete, ein Cache sei zu groß; also verkleinerte es ihn, damit der Server Dokumente schneller aus dem Speicher verdrängt. Der nächste Testlauf zeigte, dass der Speicher in Wirklichkeit in einem anderen Cache innerhalb einer abhängigen Bibliothek feststeckte, und die Änderung wurde zurückgenommen. Nach etwa drei Tagen Iteration fand eine feinere Speicheranalyse die eigentliche Ursache: Bei jedem Tastenanschlag wurde das Dokument in mehrere Datenstrukturen kopiert, jedes Mal um einige MB mehr. Claude stellte diese Strukturen auf Copy-on-Write um, sodass sie dieselbe Referenz teilen, und der Spitzenverbrauch dieses Dokuments sank auf etwa 180 MB.
Nach Schätzung des Autors sank die für den Start benötigte Zahl speicheroptimierter Pods dadurch von über 500 auf rund 50. Nach dem Start lief der gesamte Docs-Dienst auf etwa 50 Pods; die ersten 1 Million Dokumente waren nach rund 30 Stunden erreicht, und bis zum 22. September hatten Nutzer mehr als 4,6 Millionen Dokumente angelegt.
Was die Inferenz gekostet hat
Der Autor hat nach der API-Listenpreisliste von Claude Fable 5.2 umgerechnet: Von Ende August bis zum Starttag verbrauchte die Schleife Inferenzkosten von rund 125.000 US-Dollar. Er räumt auch ein, beim Ausprobieren des Ablaufs viele Tokens verbrannt zu haben, “we could have spent about half as much”, man hätte also nur etwa die Hälfte ausgeben müssen.
Eine grobe Rechnung: Die gesparten rund 450 speicheroptimierten Pods würden bei den üblichen Preisen großer Speicherinstanzen bei Cloud-Anbietern wohl schon an einem Monat Miete mehr als diese 125.000 US-Dollar kosten. Das hängt allerdings von der Instanzgröße ab; der Text nennt die Pod-Konfiguration nicht, daher lässt sich hier nur eine Größenordnung schätzen.
Für deutlich kleinere Teams veranschlagt der Autor vergleichbare Arbeit im Umfang von etwa zwei Wochen zu Listenpreisen auf 3.000 bis 10.000 US-Dollar, mit dem Hinweis “I haven't actually run this” (ich habe das nicht tatsächlich durchgespielt); diese Zahl hat er also selbst nicht überprüft.
Dass dieses Vorgehen funktioniert, führt der Autor auf die gestiegene Langstreckenfähigkeit neuerer Modelle zurück: Modelle von vor einigen Monaten vergaßen nach zehn bis zwanzig Durchläufen in einer langen Schleife, was sie optimierten, sodass er das Ziel immer wieder neu nennen musste. Diesmal hielt Claude alle Randbedingungen auch nach mehreren Kontextkomprimierungen ein. Der Dienst ist in Rust geschrieben und kommt mit möglichst wenigen Abhängigkeiten aus, damit die Monitoring-Signale sauberer sind; der Autor sagt aber auch, das Team habe Rust und Go nicht formal verglichen.
Quellen: Entwicklerblog von Claude, CocoLoop, Produktbeschreibung von Anthropic; Anfragezahlen, Fehlerzahlen, Pod-Anzahl und Inferenzkosten stammen vom Entwicklungsteam von Anthropic selbst und wurden nicht von Dritten überprüft.