Liquid AI Pulihkan Akurasi Q4_0 ke 97% Lewat Distilasi
Metode pelatihan QAD dari Liquid AI memulihkan akurasi checkpoint Q4_0 hingga 96-97% dari BF16, sambil tetap mempertahankan keunggulan kecepatannya di CPU Arm.
2 artikel terverifikasi tentang Efisiensi Model Besar, produk, dan perkembangan industri.
Metode pelatihan QAD dari Liquid AI memulihkan akurasi checkpoint Q4_0 hingga 96-97% dari BF16, sambil tetap mempertahankan keunggulan kecepatannya di CPU Arm.
TurboQuant dari Google Research mengompres memori KV Cache untuk model bahasa besar setidaknya 6x tanpa perlu pelatihan ulang atau kehilangan akurasi, mencapai akselerasi hingga 8x pada GPU H100.