Kemampuan model besar terus meningkat, namun biaya penerapannya juga semakin tinggi. Kuantisasi dan distilasi saat ini menjadi dua jalur teknis paling utama untuk "membuat model lebih kecil dan lebih cepat."
Kuantisasi: Menurunkan Presisi
Ide intinya adalah mengompresi bobot model dari format presisi tinggi (FP32/FP16) ke format presisi rendah (INT8/INT4 atau bahkan lebih rendah).
Kuantisasi Pasca-Pelatihan (PTQ)
Metode paling sederhana dan langsung — menurunkan presisi segera setelah model selesai dilatih. Biasanya mampu mengompresi ukuran model sebesar 75-80% dengan kehilangan akurasi yang masih dapat diterima. Cocok untuk penerapan cepat.
Kuantisasi Sadar Pelatihan (QAT)
Model beradaptasi dengan lingkungan presisi rendah selama proses pelatihan. Hasilnya lebih baik daripada PTQ, tetapi memerlukan pelatihan ulang.
Distilasi Sadar Kuantisasi (QAD)
Metode baru yang baru-baru ini dikembangkan oleh NVIDIA — model siswa belajar dua hal secara bersamaan: beradaptasi dengan kesalahan kuantisasi dan menyelaraskan dengan model guru presisi penuh. Riset NVFP4-QAD mereka membuktikan bahwa akurasi dapat dipulihkan bahkan pada presisi FP4.
Distilasi: Transfer Pengetahuan
Model kecil (siswa) meniru perilaku model besar (guru). Model siswa biasanya mencapai 90-95% kinerja model guru, namun dengan ukuran yang jauh lebih kecil.
Versi distilasi DeepSeek R1 adalah contoh tipikal — model distilasi 32B menyamai kinerja o1-mini.
Pemangkasan: Memotong Parameter Secara Langsung
Mengidentifikasi dan menghapus parameter yang tidak penting (bobot, neuron, atau seluruh lapisan). Biasanya 30-50% parameter dapat dihapus tanpa hampir ada penurunan kinerja.
Decoding Spekulatif: Verifikasi Paralel
Model "draf" kecil dengan cepat menghasilkan beberapa token kandidat, lalu model besar memverifikasinya secara paralel. Prinsipnya mirip dengan "menggambar kasar dulu, lalu memperhalus," yang secara signifikan mengurangi latensi.
Tren
NVIDIA memperkirakan tahun 2026 akan menjadi "tahun divergensi antara model frontier vs model efisien." Menggabungkan beberapa teknik optimasi menjadi arus utama — bukan memilih satu, tetapi menggunakan kombinasi kuantisasi + distilasi + pemangkasan.
Di sisi perangkat keras, akselerator ASIC, desain chiplet, dan chip inferensi analog semakin matang, dan GPU bukan lagi satu-satunya opsi inferensi.
Sumber referensi: CocoLoop, Blog Teknis NVIDIA