O engenheiro da Anthropic Vivek Nair publicou em 17 de novembro, no blog para desenvolvedores do Claude, um balanço de como a equipe, nas duas semanas anteriores ao lançamento do Claude Docs, deixou uma sessão do Claude Code rodando sem parar: testando carga, procurando problemas e alterando código. No fim, o sistema aguentou o tráfego após o lançamento.
O Claude Docs é um editor de documentos que a Anthropic lançou em 16 de setembro. Usuários, colegas e o Claude colaboram no mesmo documento; qualquer sessão do Claude, da interface de chat ao Claude Code, pode abrir o mesmo documento para ler, escrever e comentar em tempo real. Três semanas antes do lançamento, ele ainda era uma prova de conceito rodando em um único nó, usada por alguns milhares de funcionários internos.
Sobre o resultado depois do lançamento, o autor escreve:
“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.”
Em 2 bilhões de requisições, vimos apenas 60 erros de servidor e nunca precisamos fazer rollback.
Uma sessão, em ciclo por duas semanas
Os testes de carga começaram em 4 de setembro, cerca de duas semanas antes do lançamento. O ambiente era um cluster de staging espelhando a produção, que gerava mais de um milhão de documentos sintéticos por dia.
A coordenação ficava com uma sessão do Claude Code em execução contínua, cujo ciclo tinha poucas etapas: escolher um cenário, rodar a ferramenta de teste de carga, ler os dados de monitoramento, propor uma correção, implantá-la no staging e recomeçar. A maior parte do trabalho concreto era delegada a subagentes; na semana mais intensa havia normalmente 11 rodando ao mesmo tempo, com pico de 30. Os dados de monitoramento eram lidos pelo MCP do Datadog, e as mudanças eram revisadas em uma sessão separada. O autor diz que foi usado um modelo de pesquisa interno, com capacidade aproximadamente equivalente à do Claude Fable 5.2.
Os cenários de falha escritos de antemão incluíam 10 milhões de documentos novos criados em um único dia, 22.000 conexões online reconectando ao mesmo tempo e um documento popular, com algumas centenas de pessoas vendo, cujo servidor era derrubado durante o carregamento enquanto o banco de dados travava.
Nas permissões havia uma linha clara. Nas mudanças fáceis de desfazer, o Claude escrevia, implantava e testava de novo por conta própria; já as que envolviam o esquema do banco de dados, a organização das chaves e a forma como os documentos são armazenados e gerados precisavam da aprovação de uma pessoa. A equipe também impôs ao Claude duas restrições inquebráveis: um documento, por mais longo que fosse seu histórico, tinha de abrir quase instantaneamente; e, para qualquer edição confirmada pelo servidor, o teste precisava provar que ela continuava lá.
Como um problema de memória foi resolvido
O exemplo desenvolvido por inteiro no texto é o da memória. Um documento grande ocupava cerca de 3 GB em um único pod.
O diagnóstico inicial do Claude foi que algum cache era grande demais, então ele o reduziu para que o servidor retirasse os documentos da memória mais depressa. A rodada de testes seguinte mostrou que a memória estava, na verdade, presa em outro cache dentro de uma biblioteca dependente, e a mudança foi revertida. Depois de cerca de três dias de iterações, uma análise de memória mais fina encontrou a causa: a cada tecla digitada, o documento era copiado para várias estruturas de dados, acrescentando alguns MB a cada vez. O Claude converteu essas estruturas para copy-on-write, compartilhando a mesma referência, e o pico de memória desse documento caiu para cerca de 180 MB.
Pelas estimativas do autor, o número de pods otimizados para memória necessários no lançamento caiu de mais de 500 para cerca de 50. Depois do lançamento, todo o serviço do Docs rodava em cerca de 50 pods; o primeiro 1 milhão de documentos surgiu em cerca de 30 horas e, até 22 de setembro, os usuários já tinham criado mais de 4,6 milhões de documentos.
Quanto custou a inferência
Convertendo pela tabela de preços de API do Claude Fable 5.2, o autor calcula que, do fim de agosto ao dia do lançamento, esse ciclo consumiu cerca de US$ 125 mil em inferência. Ele admite também que queimou muitos tokens enquanto ajustava o processo: “we could have spent about half as much”, ou seja, poderia ter gasto apenas metade.
Numa conta grosseira: os cerca de 450 pods otimizados para memória que deixaram de ser necessários, pelo preço de instâncias de grande memória comuns entre provedores de nuvem, provavelmente custariam mais de US$ 125 mil só em um mês de aluguel. Isso depende do tipo de instância; o texto não informa a configuração dos pods, então só é possível estimar uma ordem de grandeza.
Para equipes bem menores, o autor estima que um trabalho semelhante, na escala de duas semanas, custaria de US$ 3.000 a US$ 10.000 pelo preço de tabela, ressalvando “I haven't actually run this” (eu não executei isso de fato), ou seja, ele próprio não testou esse número.
O autor atribui o êxito dessa abordagem à capacidade de tarefas longas dos modelos recentes: modelos de poucos meses atrás, depois de dez a vinte iterações em um ciclo longo, esqueciam o que estavam otimizando, e ele precisava reafirmar o objetivo repetidamente. Desta vez o Claude manteve todas as restrições mesmo após várias compactações de contexto. O serviço foi escrito em Rust, com o mínimo de dependências, para deixar os sinais de monitoramento mais limpos, embora o autor diga que a equipe não comparou formalmente Rust e Go.
Fontes: blog para desenvolvedores do Claude, CocoLoop, descrição de produto da Anthropic; o volume de requisições, o número de erros, a quantidade de pods e o custo de inferência são informados pela própria equipe de engenharia da Anthropic e não foram verificados por terceiros.