Pada 20 Oktober, DeepSeek merilis secara open source kerangka inferensi skala besar yang dipakai secara internal, DeepInfer, di GitHub dengan lisensi Apache 2.0. Halaman utama repositori menyebutnya sebagai kerangka inferensi berkinerja tinggi untuk model DeepSeek. Versi open source ini menyediakan fitur inti untuk inferensi offline dan layanan skala besar, dan saat ini hanya mendukung satu model: DeepSeek-V4.1-Flash.
Laporan publik juga menyebut bahwa DeepSeek turut merilis komponen encoding/decoding token bernama deepseek-recipe, dan menyatakan bahwa dengan kerangka ini throughput satu klaster V4.1 Flash mencapai 155 triliun token per hari. Angka throughput ini berasal dari klaim perusahaan sendiri: bagian performa pada README repositori hanya memuat kurva throughput dan latensi tanpa nilai spesifik, dan sejauh ini belum ada pengujian ulang oleh pihak ketiga.
Isi repositori
Kemampuan yang tercantum di README secara garis besar terbagi menjadi empat bagian.
Bagian pertama adalah kernel dan runtime. Di dalamnya terintegrasi FlashMLA, DeepGEMM, DeepEP, TileKernels, dan DeepSelect, ditambah sejumlah kernel kustom yang ditulis dengan TileLang. Nama-nama di awal itu sudah dirilis DeepSeek secara bertahap pada pekan open source tahun lalu dan beberapa rilis sesudahnya; kali ini semuanya dibungkus dalam satu wadah yang bisa langsung menjalankan layanan.
Bagian kedua adalah strategi paralelisme: pada bagian attention dipakai data parallelism dengan context parallelism yang seimbang, sedangkan pada bagian MoE dipakai expert parallelism dengan penyeimbangan beban (EPLB).
Bagian ketiga adalah speculative decoding, yang memakai DSpark, kerangka yang dirilis DeepSeek bersama Universitas Peking pada akhir Juni, ditambah mekanisme verifikasi yang dijadwalkan berdasarkan tingkat keyakinan. Panjang draf bawaannya adalah 5.
Bagian keempat adalah beberapa detail rekayasa: penjadwalan batch di sisi CPU yang dibuat tumpang tindih dengan eksekusi di perangkat, aktif secara bawaan; sliding window attention yang hanya memutar ulang sufiks terbatas sehingga sebagian komputasi prefill dapat dihemat; serta keluaran terstruktur yang mendukung batasan regex, JSON Schema, dan tata bahasa EBNF.
Lingkungan pengujian dituliskan dengan sangat rinci: prefill memakai 4 GPU SM100 dan decode memakai 64 GPU, semuanya berada dalam satu domain scale-up yang sama. Skrip untuk mereproduksinya juga disertakan.
Dua perangkat keras, kemampuan tidak setara
Dukungan perangkat keras mencakup dua jenis: GPU seri Nvidia SM100 dan NPU Huawei Ascend 950. Persyaratan lingkungannya masing-masing CUDA 13 dan CANN 9.2, dengan kompiler GCC 13 ke atas dan Python 3.12.
Namun, ada dua kemampuan yang diberi label "khusus NVIDIA". Pertama, inferensi batch-invariant, yaitu satu permintaan yang sama menghasilkan keluaran yang sama, apa pun permintaan lain yang digabungkan dalam satu batch dengannya. Kedua, sampling deterministik, yaitu masukan dan parameter sampling yang sama menghasilkan hasil yang sama. Keduanya sangat berguna bagi tim yang melakukan evaluasi dan uji regresi, tetapi untuk saat ini hanya bisa didapat di kartu Nvidia.
README juga menuliskan dengan jujur bagian yang belum ada: sistem KV Cache, pemisahan tiga tahap antara pengodean visual, prefill, dan decode, serta penyeimbangan beban antarreplika data parallel tidak termasuk dalam versi ini. Repositori menyebut sebagian besar fitur mesin yang dibutuhkan untuk deployment terpisah sudah diimplementasikan, tetapi siapa pun yang ingin membangun layanan seperti sistem produksi DeepSeek harus melengkapi lapisan-lapisan ini sendiri.
Menghubungkan beberapa rilis open source
Open source infrastruktur DeepSeek dikeluarkan sepotong demi sepotong. April tahun lalu, lewat repositori open-infra-index, perusahaan menerbitkan keterangan bahwa mereka tidak akan langsung membuka kode lengkap mesin inferensi internalnya, melainkan akan menyumbangkan perbaikan desain dan komponen yang bisa dipakai mandiri kepada komunitas, misalnya ke proyek yang sudah ada seperti vLLM.
Ritme sesudahnya pada dasarnya mengikuti pola itu: pustaka kernel dirilis terpisah lebih dulu, akhir Juni menyusul kerangka speculative decoding DSpark, dan pada September DeepSeek membuka di arXiv DSec, fondasi sandbox untuk pelatihan agen. DeepInfer adalah pertama kalinya komponen-komponen ini dirakit menjadi kerangka yang dapat di-deploy secara mandiri. Dibandingkan pernyataan "hanya komponen" lebih dari setahun lalu, pintunya terbuka lebih lebar.
Bagi perusahaan di Tiongkok yang menerapkan V4.1 Flash secara privat, kini ada satu implementasi acuan resmi. Bagi kerangka komunitas seperti vLLM dan SGLang, optimasi kernel DeepSeek ke depan mungkin lebih sering masuk lebih dulu ke kerangka milik DeepSeek sendiri, baru kemudian dipindahkan oleh komunitas. Pada hari peluncurannya, repositori ini sudah melewati tiga ribu bintang. Isu-isu yang akan masuk dan tolok ukur dari pihak luar akan lebih menjelaskan bagaimana performanya di pusat data orang lain dibandingkan kurva resmi.
Sumber: README DeepInfer di repositori GitHub DeepSeek (untuk memverifikasi model yang didukung, perangkat keras, fitur khusus NVIDIA, jumlah kartu uji, dan lisensi), CocoLoop, dokumen penjelasan DeepSeek open-infra-index; angka throughput satu klaster adalah klaim perusahaan dan belum diuji ulang oleh pihak ketiga.