Tingkat pengendalian biaya DeepSeek telah menjadi legenda di industri:
- V3 biaya pelatihan: sekitar $5,5 juta
- R1 biaya penggunaan GPU: sekitar $294.000
Pada periode yang sama, perusahaan AS menganggarkan $100 juta hingga $1 miliar untuk melatih model dengan skala serupa. Setidaknya ada perbedaan satu orde magnitudo.
Rahasia Penghematan Biaya
1. Pelatihan Presisi Campuran FP8
Menurunkan presisi pelatihan dari FP32/FP16 ke FP8 memotong kebutuhan bandwidth memori hingga setengahnya. Sebagian besar hambatan komputasi terletak pada bandwidth memori, sehingga langkah ini sangat tepat.
2. Penggunaan Strategis Spot Instance
Biaya komputasi berkurang 70%. Spot instance dapat ditarik kapan saja, tetapi kerangka pelatihan DeepSeek memiliki checkpoint dan desain toleransi kesalahan yang memadai untuk mengatasi hal ini.
3. Arsitektur MoE Secara Alami Menghemat Komputasi
Model dengan 671B parameter hanya mengaktifkan 37B parameter per inferensi. Jumlah parameter memastikan kapasitas dan kemampuan, sementara aktivasi jarang memastikan biaya tetap terkendali.
Teknologi Baru: mHC
Pada Januari tahun ini, DeepSeek mengumumkan metode baru—Manifold-Constrained Hyper-Connections (mHC). Makalah inti ditulis bersama oleh pendiri Liang Wenfeng.
Apa yang dilakukan metode ini: menciptakan beberapa aliran informasi di dalam model, dengan batasan matematis yang ketat pada setiap langkah pencampuran untuk memastikan konservasi total informasi. Hasil pengujian menunjukkan bahwa mHC memungkinkan pelatihan yang stabil pada skala parameter 3B hingga 27B, sementara versi tanpa batasan sering kali tidak stabil. Overhead pelatihan hanya meningkat 6-7%, yang hampir dapat diabaikan untuk model besar.
Beberapa analis menyebut makalah mHC sebagai "terobosan menakjubkan" yang berpotensi menjadi teknologi dasar untuk model unggulan DeepSeek generasi berikutnya.
CEO OpenAI sendiri mengakui bahwa biaya operasional R1 DeepSeek 20 hingga 50 kali lebih murah daripada model setara OpenAI.
Sumber: CocoLoop, laporan Computerworld, analisis South China Morning Post