Claude pasa dos semanas probando la carga y Docs sale sin ningún rollback

AI coding illustration: a robotic arm fitting a red block into a structure

El ingeniero de Anthropic Vivek Nair publicó el 17 de noviembre en el blog para desarrolladores de Claude un balance de cómo su equipo, durante las dos semanas previas al lanzamiento de Claude Docs, dejó que una sesión de Claude Code funcionara sin parar: probando la carga, buscando problemas y modificando código. Al final, el sistema aguantó el tráfico posterior al lanzamiento.

Claude Docs es un editor de documentos que Anthropic presentó el 16 de septiembre. Usuarios, compañeros y Claude colaboran en el mismo documento; cualquier sesión de Claude, desde la interfaz de chat hasta Claude Code, puede abrir ese documento para leer, escribir y comentar en tiempo real. Tres semanas antes del lanzamiento todavía era una prueba de concepto que corría en un solo nodo y que usaban unos pocos miles de empleados internos.

Sobre el resultado tras el lanzamiento, el autor escribe:

“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.”

En 2000 millones de solicitudes solo vimos 60 errores de servidor y nunca tuvimos que hacer rollback.

Una sesión, en bucle durante dos semanas

Las pruebas de carga empezaron el 4 de septiembre, unas dos semanas antes del lanzamiento. El entorno era un clúster de preproducción que replicaba la producción y generaba más de un millón de documentos sintéticos al día.

La coordinación corría a cargo de una sesión de Claude Code en ejecución continua, cuyo bucle constaba de pocos pasos: elegir un escenario, ejecutar la herramienta de pruebas de carga, leer los datos de monitorización, proponer una corrección, desplegarla en preproducción y volver a empezar. La mayor parte del trabajo concreto se delegaba en subagentes; en la semana más intensa solía haber 11 funcionando a la vez, con un máximo de 30. Los datos de monitorización se leían a través del MCP de Datadog, y los cambios se revisaban en una sesión aparte. El autor dice que se usó un modelo de investigación interno, con una capacidad aproximadamente equivalente a la de Claude Fable 5.2.

Entre los escenarios de fallo que el equipo había escrito de antemano figuraban 10 millones de documentos nuevos creados en un solo día, 22.000 conexiones en línea reconectándose a la vez y un documento popular, con varios cientos de personas viéndolo, cuyo servidor se mataba durante la carga mientras la base de datos se ralentizaba.

En cuanto a permisos había una línea clara. Los cambios fáciles de revertir, Claude los escribía, los desplegaba y los volvía a probar por su cuenta; los que afectaban al esquema de la base de datos, a la disposición de las claves y a la forma de almacenar y generar los documentos tenía que aprobarlos una persona. El equipo impuso además a Claude dos restricciones inquebrantables: un documento, por largo que fuera su historial, debía abrirse casi al instante; y, para cualquier edición confirmada por el servidor, la prueba tenía que demostrar que seguía ahí.

Cómo se resolvió un problema de memoria

El ejemplo que el texto desarrolla por completo es el de la memoria. Un documento grande ocupaba unos 3 GB en un solo pod.

El diagnóstico inicial de Claude fue que alguna caché era demasiado grande, así que la redujo para que el servidor expulsara los documentos de la memoria más rápido. La siguiente ronda de pruebas mostró que la memoria en realidad estaba atrapada en otra caché dentro de una biblioteca dependiente, y el cambio se revirtió. Tras unos tres días de iteraciones, un análisis de memoria más fino dio con la causa: con cada pulsación de tecla, el documento se copiaba en varias estructuras de datos, con unos MB más cada vez. Claude pasó esas estructuras a copy-on-write, compartiendo una misma referencia, y el pico de memoria de ese documento bajó a unos 180 MB.

Según las estimaciones del autor, el número de pods optimizados para memoria necesarios para el lanzamiento bajó así de más de 500 a unos 50. Tras el lanzamiento, todo el servicio de Docs funcionó con unos 50 pods; el primer millón de documentos apareció en unas 30 horas y, para el 22 de septiembre, los usuarios ya habían creado más de 4,6 millones de documentos.

Cuánto costó la inferencia

Convirtiendo según la lista de precios de la API de Claude Fable 5.2, el autor calcula que, desde finales de agosto hasta el día del lanzamiento, este bucle consumió unos 125.000 dólares en inferencia. También admite que, mientras afinaba el proceso, se quemaron bastantes tokens: “we could have spent about half as much”, es decir, podría haberse gastado solo la mitad.

Un cálculo aproximado: los unos 450 pods optimizados para memoria que se ahorraron, a los precios habituales de las instancias de mucha memoria de los proveedores de nube, probablemente superarían los 125.000 dólares solo en un mes de alquiler. Depende del tipo de instancia; el texto no da la configuración de los pods, así que aquí solo se puede estimar un orden de magnitud.

Para equipos mucho más pequeños, el autor calcula que un trabajo similar, del orden de dos semanas, costaría entre 3000 y 10.000 dólares a precio de lista, y aclara “I haven't actually run this” (en realidad no lo he ejecutado), es decir, él mismo no ha comprobado esa cifra.

El autor atribuye que este método funcione a la capacidad de los modelos recientes para tareas largas: los modelos de hace unos meses, tras diez o veinte vueltas en un bucle largo, olvidaban qué estaban optimizando y él tenía que repetirles el objetivo una y otra vez. Esta vez Claude mantuvo todas las restricciones incluso después de varias compresiones de contexto. El servicio está escrito en Rust y con el mínimo de dependencias para que las señales de monitorización sean más limpias, aunque el autor también dice que el equipo no comparó formalmente Rust con Go.

Fuentes: blog para desarrolladores de Claude, CocoLoop, descripción de producto de Anthropic; el volumen de solicitudes, el número de errores, la cantidad de pods y el coste de inferencia los ha aportado el propio equipo de ingeniería de Anthropic y no han sido verificados por terceros.