Deux semaines de tests de charge avec Claude, Docs lancé sans rollback

AI coding illustration: a robotic arm fitting a red block into a structure

L'ingénieur d'Anthropic Vivek Nair a publié le 17 novembre sur le blog des développeurs de Claude un retour d'expérience : durant les deux semaines précédant le lancement de Claude Docs, son équipe a laissé une session Claude Code tourner sans interruption, à tester la charge, chercher des problèmes et modifier le code. Au final, le système a tenu face au trafic post-lancement.

Claude Docs est un éditeur de documents qu'Anthropic a lancé le 16 septembre. Utilisateurs, collègues et Claude y collaborent sur le même document ; n'importe quelle session Claude, de l'interface de chat à Claude Code, peut ouvrir ce document pour le lire, y écrire et le commenter en temps réel. Trois semaines avant le lancement, ce n'était encore qu'une preuve de concept tournant sur un seul nœud, utilisée par quelques milliers d'employés en interne.

Sur le résultat après le lancement, l'auteur écrit :

“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.”

Sur 2 milliards de requêtes, nous n'avons constaté que 60 erreurs serveur et nous n'avons jamais eu à faire de rollback.

Une session, en boucle pendant deux semaines

Les tests de charge ont commencé le 4 septembre, environ deux semaines avant le lancement. L'environnement était un cluster de préproduction qui reproduisait la production et générait chaque jour plus d'un million de documents synthétiques.

La coordination était assurée par une session Claude Code en fonctionnement continu, dont la boucle ne comptait que quelques étapes : choisir un scénario, lancer l'outil de test de charge, lire les données de supervision, proposer un correctif, le déployer en préproduction, puis recommencer. L'essentiel du travail concret était confié à des sous-agents ; la semaine la plus chargée, 11 tournaient généralement en même temps, avec un pic à 30. Les données de supervision étaient lues via le MCP de Datadog, et les modifications relues dans une session distincte. L'auteur indique qu'un modèle de recherche interne a été utilisé, dont les capacités sont à peu près comparables à celles de Claude Fable 5.2.

Parmi les scénarios de panne rédigés à l'avance figuraient 10 millions de nouveaux documents créés en une seule journée, 22 000 connexions en ligne se rétablissant simultanément, et un document populaire, consulté par plusieurs centaines de personnes, dont le serveur était tué pendant le chargement alors que la base de données ralentissait.

Côté autorisations, une ligne claire avait été tracée. Pour les changements faciles à annuler, Claude écrivait, déployait et retestait lui-même ; pour ceux touchant au schéma de la base de données, à la disposition des clés ainsi qu'à la manière de stocker et de générer les documents, une validation humaine était requise. L'équipe a aussi imposé à Claude deux contraintes à ne jamais enfreindre : un document, quelle que soit la longueur de son historique, doit s'ouvrir presque instantanément ; et pour toute modification confirmée par le serveur, le test doit prouver qu'elle est toujours là.

Comment un problème de mémoire a été résolu

L'exemple développé en détail dans l'article concerne la mémoire. Un gros document occupait environ 3 Go sur un seul pod.

Le premier diagnostic de Claude était qu'un cache était trop grand ; il l'a donc réduit pour que le serveur évince plus vite les documents de la mémoire. La série de tests suivante a montré que la mémoire était en réalité retenue dans un autre cache, à l'intérieur d'une bibliothèque dépendante, et la modification a été annulée. Après environ trois jours d'itérations, une analyse mémoire plus fine a mis au jour la cause profonde : à chaque frappe, le document était copié dans plusieurs structures de données, avec quelques Mo de plus à chaque fois. Claude a converti ces structures en copy-on-write, partageant une même référence, et le pic de mémoire de ce document est tombé à environ 180 Mo.

D'après l'estimation de l'auteur, le nombre de pods optimisés pour la mémoire nécessaires au lancement est ainsi passé de plus de 500 à environ 50. Après le lancement, l'ensemble du service Docs tournait sur une cinquantaine de pods ; le premier million de documents est apparu en une trentaine d'heures et, au 22 septembre, les utilisateurs avaient déjà créé plus de 4,6 millions de documents.

Ce que l'inférence a coûté

En convertissant d'après la grille tarifaire de l'API de Claude Fable 5.2, l'auteur calcule que, de fin août au jour du lancement, cette boucle a consommé environ 125 000 dollars d'inférence. Il admet aussi qu'en tâtonnant sur le processus, il a brûlé pas mal de tokens : “we could have spent about half as much”, soit environ moitié moins.

Un calcul approximatif : les quelque 450 pods optimisés pour la mémoire économisés, aux tarifs courants des instances à grande mémoire chez les fournisseurs cloud, coûteraient probablement plus de 125 000 dollars rien qu'en un mois de location. Cela dépend du type d'instance ; l'article ne donne pas la configuration des pods, on ne peut donc estimer ici qu'un ordre de grandeur.

Pour des équipes bien plus petites, l'auteur estime qu'un travail comparable, de l'ordre de deux semaines, coûterait entre 3 000 et 10 000 dollars au tarif public, en précisant “I haven't actually run this” (je n'ai pas réellement essayé), c'est-à-dire qu'il n'a pas lui-même vérifié ce chiffre.

L'auteur attribue la réussite de cette méthode à la capacité des modèles récents à mener des tâches longues : il y a quelques mois, un modèle qui enchaînait dix à vingt tours dans une longue boucle oubliait ce qu'il optimisait, et il devait sans cesse rappeler l'objectif. Cette fois, Claude a respecté toutes les contraintes même après plusieurs compressions de contexte. Le service est écrit en Rust, avec le moins de dépendances possible, pour que les signaux de supervision soient plus propres ; l'auteur précise toutefois que l'équipe n'a pas comparé formellement Rust et Go.

Sources : blog des développeurs de Claude, CocoLoop, présentation du produit par Anthropic ; le volume de requêtes, le nombre d'erreurs, le nombre de pods et le coût d'inférence proviennent de l'équipe d'ingénierie d'Anthropic elle-même et n'ont pas été vérifiés par un tiers.