Claude uji beban dua pekan, Docs rilis tanpa rollback

AI coding illustration: a robotic arm fitting a red block into a structure

Insinyur Anthropic Vivek Nair pada 17 November menerbitkan tulisan tinjauan di blog pengembang Claude. Ia menceritakan bagaimana timnya, selama dua pekan sebelum Claude Docs rilis, membiarkan satu sesi Claude Code terus-menerus menguji beban, mencari masalah, dan mengubah kode, hingga layanan itu akhirnya sanggup menahan lalu lintas setelah rilis.

Claude Docs adalah editor dokumen yang diluncurkan Anthropic pada 16 September. Pengguna, rekan kerja, dan Claude dapat berkolaborasi di dokumen yang sama; dari antarmuka obrolan hingga Claude Code, sesi Claude mana pun bisa membuka dokumen yang sama untuk membaca, menulis, dan berkomentar secara real time. Tiga pekan sebelum rilis, layanan ini masih berupa proof of concept yang berjalan di satu node dan dipakai beberapa ribu karyawan internal.

Soal hasil setelah rilis, penulis menulis:

“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.”
Dari 2 miliar permintaan, kami hanya menemui 60 galat server, dan tidak sekali pun harus melakukan rollback.

Satu sesi, berputar selama dua pekan

Uji beban dimulai pada 4 September, sekitar dua pekan sebelum rilis. Lingkungannya adalah klaster staging yang meniru produksi, yang membuat lebih dari satu juta dokumen sintetis setiap hari.

Koordinatornya adalah satu sesi Claude Code yang berjalan terus, dengan siklus yang hanya beberapa langkah: memilih satu skenario, menjalankan alat uji beban, membaca data pemantauan, mengajukan solusi, men-deploy ke staging, lalu mengulang dari awal. Sebagian besar pekerjaan rinci diserahkan ke subagen; pada pekan tersibuk biasanya ada 11 subagen yang berjalan bersamaan, dengan puncak 30. Data pemantauan dibaca lewat MCP Datadog, dan usulan perubahan ditinjau di sesi terpisah. Penulis mengatakan model yang dipakai adalah model riset internal dengan kemampuan kurang lebih setara Claude Fable 5.2.

Skenario kegagalan yang ditulis tim sejak awal mencakup 10 juta dokumen baru dalam sehari, 22.000 koneksi aktif yang tersambung ulang serentak, dan server dimatikan paksa saat memuat dokumen populer yang sedang dilihat ratusan orang, sementara database ikut tersendat.

Ada satu garis batas dalam hal wewenang. Perubahan yang mudah dibatalkan ditulis, di-deploy, dan diuji ulang sendiri oleh Claude; perubahan yang menyangkut skema database, tata letak key, serta cara dokumen disimpan dan dihasilkan harus disetujui manusia. Tim juga memberi Claude dua batasan yang tidak boleh dilanggar: dokumen dengan riwayat sepanjang apa pun harus terbuka nyaris seketika, dan untuk suntingan yang sudah dikonfirmasi server, pengujian harus membuktikan suntingan itu masih ada.

Cara memperbaiki satu masalah memori

Contoh yang diuraikan lengkap dalam tulisan itu adalah memori. Satu dokumen besar memakan sekitar 3 GB pada satu pod.

Penilaian awal Claude adalah ada cache yang terlalu besar, sehingga cache itu diperkecil supaya server lebih cepat mengeluarkan dokumen dari memori. Putaran uji berikutnya menunjukkan bahwa memori sebenarnya tertahan di cache lain di dalam sebuah pustaka dependensi, dan perubahan itu pun dibatalkan. Setelah iterasi sekitar tiga hari, analisis memori yang lebih rinci menemukan akar masalahnya: setiap kali satu tombol ditekan, dokumen disalin ke beberapa struktur data, dan setiap kali bertambah beberapa MB. Claude mengubah struktur-struktur itu menjadi copy-on-write sehingga berbagi satu referensi yang sama, dan memori puncak dokumen tersebut turun menjadi sekitar 180 MB.

Menurut perkiraan penulis, pod berjenis optimasi memori yang dibutuhkan saat rilis turun dari lebih dari 500 menjadi sekitar 50. Setelah rilis, seluruh layanan Docs berjalan di sekitar 50 pod; satu juta dokumen pertama muncul dalam sekitar 30 jam, dan hingga 22 September pengguna telah membuat lebih dari 4,6 juta dokumen.

Berapa biaya inferensinya

Dihitung dengan harga daftar API Claude Fable 5.2, penulis memperkirakan siklus ini menghabiskan sekitar 125.000 dolar AS biaya inferensi dari akhir Agustus hingga hari rilis. Ia juga mengakui banyak token terbakar saat mencari-cari alur kerja, dan “we could have spent about half as much”, yakni sebenarnya cukup separuhnya.

Hitungan kasarnya: sekitar 450 pod optimasi memori yang berhasil dihemat, dengan harga instans memori besar dari penyedia cloud yang umum, sewa sebulannya sangat mungkin sudah melampaui 125.000 dolar itu. Angka pastinya bergantung pada spesifikasi instans, dan tulisan itu tidak menyebutkan konfigurasi pod, sehingga di sini hanya bisa diperkirakan orde besarnya.

Untuk tim yang jauh lebih kecil, penulis memperkirakan pekerjaan serupa selama kira-kira dua pekan akan memakan sekitar 3.000 hingga 10.000 dolar menurut harga daftar, dengan catatan “I haven't actually run this”, artinya angka itu belum pernah ia jalankan sendiri.

Penulis menilai pendekatan ini bisa berjalan berkat kemampuan model terbaru dalam tugas panjang: model beberapa bulan lalu, setelah menjalani sepuluh hingga dua puluh putaran dalam satu siklus panjang, akan lupa apa yang sedang dioptimalkan, sehingga ia harus berulang kali menegaskan tujuan. Kali ini Claude tetap memegang seluruh batasan meski konteksnya sudah dipadatkan berkali-kali. Layanan ini ditulis dengan Rust dan sedikit mungkin dependensi agar sinyal pemantauan lebih bersih, meski penulis juga mengatakan tim tidak pernah membandingkan Rust dan Go secara resmi.

Sumber: blog pengembang Claude, CocoLoop, keterangan produk Anthropic. Jumlah permintaan, jumlah galat, jumlah pod, dan biaya inferensi merupakan klaim tim teknik Anthropic sendiri dan belum diverifikasi pihak ketiga.