Liquid AI merilis sejumlah checkpoint baru untuk keluarga model LFM2.5 di Hugging Face, dalam format GGUF Q4_0, dilatih dengan metode yang mereka sebut QAD (quantization-aware distillation, distilasi yang sadar kuantisasi). Pada empat ukuran (230M, 350M, 1.2B-Instruct, dan 2.6B), checkpoint ini masing-masing memulihkan 97,1%, 96,5%, 97,4%, dan 96,6% dari skor basis BF16 pada pengujian benchmark.
Bagi yang tidak menjalankan inferensi lokal, angka-angka itu mungkin terasa datar. Untuk memahami maknanya, perlu tahu dulu bagaimana posisi Q4_0 di ekosistem llama.cpp.
Format yang sudah ditinggalkan komunitas
Q4_0 adalah salah satu skema kuantisasi 4-bit paling awal, aturannya sederhana dan kasar: setiap 32 bobot berbagi satu faktor skala, sisanya langsung dipadatkan jadi bilangan bulat 4-bit. Komunitas kemudian membuat keluarga K-quant (Q4_K_M, Q5_K_M, dan lainnya), yang mengalokasikan lebar bit berdasarkan tingkat kepentingan tensor, hasilnya akurasi jauh lebih baik pada ukuran yang sama. Q4_0 pun praktis pensiun, hanya bertahan di sejumlah perangkat lama dan runtime lama.
Namun Q4_0 punya satu keunggulan yang tak tergantikan: strukturnya rapi dan bisa langsung dipetakan ke instruksi dot product int8 di CPU Arm. Pemecahan blok dan tabel pencarian milik K-quant butuh langkah ekstra di CPU ponsel, sementara Q4_0 tidak. Data kecepatan yang dirilis Liquid AI kali ini justru bertumpu pada titik ini — pada kumpulan model yang sama, checkpoint Q4_0 4% hingga 33% lebih cepat dari Q5_K_M, dan 3% hingga 14% lebih cepat dari Q4_K_M.
Jadi yang selama ini menghambat Q4_0 memang selalu soal akurasi. Dan itulah yang disasar langsung oleh QAD.
Memindahkan kuantisasi ke tahap pelatihan
Pendekatan umum adalah PTQ (post-training quantization): model dilatih penuh dulu, baru dikompresi, lalu dicek seberapa besar akurasi yang hilang, dan jika turun terlalu jauh baru ganti format. Cara berpikir QAD justru sebaliknya — model sudah "tahu" sejak tahap pelatihan bagaimana bentuknya nanti setelah dipadatkan. Model guru berpresisi tinggi mendistilasi ke model murid yang sudah terkuantisasi, batasan kuantisasi ikut dilibatkan dalam pelatihan, sehingga distribusi bobot lebih dulu diarahkan mendekati grid 4-bit. Liquid AI menyebut di blog resminya bahwa QAD secara substansial memperbaiki checkpoint Q4_0.
Ini bukan konsep baru — pelatihan yang sadar kuantisasi sudah lama dipakai pada model visi. Yang membuatnya mahal saat dipindahkan ke model bahasa adalah biayanya: setiap format target membutuhkan satu putaran pelatihan khusus sendiri. Kesediaan vendor membayar biaya ini menandakan mereka sudah menghitung untung-ruginya — volume unduhan dan pemanggilan model on-device dianggap cukup bernilai untuk melatih satu format secara khusus.
Diverifikasi di empat perangkat
Pengujian mencakup dua kategori perangkat keras: MacBook Pro dan NucBox EVO-X2 menjalankan inferensi GPU, sementara Samsung Galaxy S26 Ultra dan Raspberry Pi 5 menjalankan inferensi CPU Arm. Kehadiran Raspberry Pi 5 dalam daftar ini cukup menarik — perangkat ini mewakili kelas tanpa GPU dan memori yang terbatas, kondisi di mana keunggulan Q4_0 paling terasa.
Perhitungan kasar ukurannya: dengan presisi 4-bit, bobot model 2.6B mencapai sedikit di atas 1,4GB. Ditambah KV cache dan overhead runtime, model ini masih muat di ponsel dengan RAM 8GB, dengan ruang tersisa untuk tugas lain. Model 230M jauh lebih kecil lagi, di kisaran ratusan megabita — cukup realistis dimasukkan ke dalam aplikasi sebagai fitur lokal.
Taruhan di balik rilis checkpoint ini
Yang menarik justru arah trade-off-nya. Selama dua tahun terakhir, strategi dominan untuk inferensi on-device adalah memperkecil model — mendistilasi ke jumlah parameter yang lebih sedikit, atau beralih ke format kuantisasi yang lebih cerdas. Kali ini Liquid AI memilih jalur ketiga: format tetap, jumlah parameter tetap, seluruh tekanan optimasi dipindahkan ke tahap pelatihan.
Konsekuensinya, metode ini hanya berlaku untuk model milik mereka sendiri. Komunitas tidak bisa memakai metode ini untuk "menyelamatkan" bobot Q4_0 yang dirilis pihak lain, karena itu membutuhkan pipeline pelatihan aslinya. Ini adalah sesuatu yang hanya bisa disediakan oleh vendor model itu sendiri, dan menjadi salah satu dari sedikit titik yang bisa menciptakan perbedaan nyata di jalur model kecil on-device — sama-sama 2.6B, sama-sama berjalan di llama.cpp, siapa pun yang versi 4-bit-nya kehilangan akurasi paling sedikit yang menang ronde itu.
Bagi para pengembang, ambang batasnya tidak berubah: GGUF Q4_0 adalah format dengan dukungan paling luas, langsung bisa dimuat oleh llama.cpp dan runtime apa pun yang kompatibel dengan Q4_0, tanpa perlu mengubah kode atau menambah operator baru. Alasan Liquid AI memilih format ini ketimbang format kustom juga ada di sini — kompatibilitas itu sendiri adalah kekuatan distribusi.
Sumber: Blog resmi Liquid AI, CocoLoop, halaman model Hugging Face; persentase pemulihan akurasi untuk keempat ukuran serta kedua rentang kecepatan telah diverifikasi sesuai angka yang dipublikasikan resmi.