Meta merilis detail desain MetaRoCE pada 24 Agustus. Ini adalah protokol transport RDMA buatan sendiri yang dirancang untuk menggantikan RoCE standar. Pada OCP Global Summit bulan Oktober, spesifikasi protokol lengkap, implementasi referensi bernama libsoftmetaroce, dan satu set uji kesesuaian untuk produksi akan dirilis sekaligus.
RoCE Standar Kolaps di Skala Seratus Ribu GPU
RoCE dirancang dengan asumsi bahwa jaringan mengirim setiap frame secara berurutan, dengan PFC (Priority Flow Control) di switch yang menjamin tidak ada paket hilang. Asumsi ini masih berjalan baik di cluster berskala beberapa ratus kartu, tapi mulai bocor di skala yang dihadapi Meta sekarang.
Menurut penjelasan Meta sendiri, RoCE standar mengharapkan jaringan mengirim setiap frame secara berurutan, bergantung pada PFC, dan tidak mendorong packet spraying — padahal packet spraying justru menjadi cara untuk mendongkrak performa di jaringan skala besar multi-plane. Di sinilah konfliknya: menyebar paket dari satu flow ke banyak jalur sekaligus berlawanan langsung dengan prinsip pengiriman berurutan. PFC juga bekerja sebagai backpressure hop-by-hop, jadi kongesti di satu titik akan terus mendorong balik ke belakang, dan pada skala sangat besar hal ini mudah menjalar. Belum lagi operasi komunikasi kolektif seperti all-reduce yang harus menyinkronkan ribuan akselerator sekaligus, sehingga transfer paling lambat menentukan ritme seluruh pekerjaan.
Skenario target yang disebut Meta adalah “ratusan ribu GPU yang tersebar di banyak data center dan wilayah.” Pada skala ini, mengandalkan switch saja untuk menjaga jaringan bebas kehilangan paket sudah setara dengan bertaruh pada probabilitas.
Memindahkan Kecerdasan ke NIC
Prinsip desain MetaRoCE diringkas dalam satu kalimat:
“The fabric sees packets, but the NIC sees intent.”
Terjemahan: “Jaringan hanya melihat paket, sementara NIC yang memahami maksudnya.”
Ini diwujudkan dalam enam hal konkret: pengiriman out-of-order native — paket disebar sengaja ke banyak jalur dan data ditulis langsung ke alamat memori tujuan tanpa buffer pengurutan ulang; multipath native — setiap koneksi menjaga beberapa jalur logis yang masing-masing melacak latensi round-trip dan status ECN sendiri; toleransi kehilangan paket — memperlakukan packet loss sebagai hal normal dan menambalnya dengan bitmap acknowledgment selektif tanpa perlu PFC; kontrol kongesti ganda — menggabungkan AIMD di sisi pengirim dengan sinyal rate berbagi adil di sisi penerima; independen dari topologi — hanya membutuhkan penandaan ECN dan ECMP, sehingga bisa berjalan di topologi fat-tree, multi-plane, maupun switch dengan buffer dangkal; dan koneksi terpadu — satu queue menangani beberapa aliran pesan berurutan sekaligus beberapa jalur, dengan satu pengontrol kongesti yang sama.
Angka-Angka dari Cluster 64 Node
Pengujian dilakukan pada cluster AMD GPU berisi 64 node. Throughput-nya konsisten lebih tinggi dari RoCEv2; pada packet loss 1%, throughput tetap terjaga sekitar 86%, dan sistem masih bisa bekerja bahkan pada packet loss 10%; throughput naik secara linear pada topologi 4-plane dan 8-plane, diuji hingga 4.000 koneksi bersamaan; ketika satu plane gagal, trafik dialihkan ulang secara otomatis tanpa perlu campur tangan di level aplikasi.
Jarak dari 64 node ke “ratusan ribu GPU” masih jauh, dan Meta membagi pekerjaan lanjutan ini ke tiga bagian: scale-up di dalam satu rak perlu optimasi sinyal cepat untuk operasi memori berdurasi singkat, sekaligus menghilangkan latensi yang muncul dari buffer pengurutan ulang dan PFC; scale-across berjarak ribuan kilometer perlu adaptasi per-jalur dan keadilan yang disesuaikan untuk tautan jarak jauh dengan round-trip skala milidetik; sementara skenario storage dan KV cache berencana memakai sinyal rate di sisi penerima untuk mengatasi incast, yaitu ketika satu pembacaan data menyebar sekaligus ke banyak server.
Open Source Ini Ditujukan untuk Vendor NIC
Di sisi NIC, saat ini hanya AMD Pensando yang implementasinya sudah terverifikasi, sementara vendor lain dikabarkan masih menyiapkannya. Satu fakta ini yang akan menentukan seberapa jauh MetaRoCE bisa melangkah — sebagus apa pun protokolnya dirancang, kalau tidak masuk ke firmware NIC arus utama, ini akan tetap jadi proyek internal Meta saja.
Merilisnya lewat OCP dan secara eksplisit menyelaraskannya dengan inisiatif ESUN (Ethernet for Scale-Up Networking) menunjukkan maksud yang jelas: mendorong vendor NIC memproduksi sesuai spesifikasi ini, sehingga pilihan pengadaan Meta sendiri jadi lebih luas. Kubu Ethernet pernah menjalankan strategi ini sebelumnya — RoCE dulu berhasil merebut pangsa pasar dari InfiniBand justru karena ekosistem Ethernet lebih murah dan vendornya lebih banyak. Sekarang setelah RoCE sendiri menjadi bottleneck, Meta ingin memakai playbook yang sama sekali lagi: taruh spesifikasinya di meja dulu, lalu biarkan semua pihak mengikutinya.
Bagi tim yang membangun infrastruktur komputasi AI di China, spesifikasi lengkap yang akan terbit Oktober nanti layak dicermati, terutama bagian “tidak perlu PFC”. Menghilangkan tuning PFC berarti mengurangi satu sumber masalah operasional yang paling merepotkan.
Sumber: blog Engineering Meta, CocoLoop, materi OCP ESUN; angka throughput sekitar 86% pada packet loss 1%, tetap berfungsi pada packet loss 10%, cluster AMD GPU 64 node, dan 4.000 koneksi bersamaan sudah dicek ulang sesuai deskripsi hasil pengujian yang dipublikasikan Meta.