Pada 20 Agustus, Liquid AI merilis sekumpulan model draft LFM2.5-DSpark di Hugging Face, menambahkan speculative decoding ke tiga model miliknya: LFM2.5-1.2B-Instruct, 2.6B, dan 8B-A1B. Menurut klaim resminya, percepatan yang dicapai bisa sampai 3,18x, dengan hasil output yang identik dengan model aslinya.
Ide di balik speculative decoding sebenarnya sederhana: sebuah model kecil menebak lebih dulu beberapa token berikutnya, sehingga model besar tidak perlu menghitung satu per satu — melainkan memverifikasi seluruh kandidat sekaligus dalam satu forward pass. Kalau tebakannya benar, langsung dipakai; kalau salah, baru dihitung ulang. Yang dihemat adalah waktu yang biasanya habis untuk memindah-mindahkan bobot model berulang kali.
655MB untuk Percepatan Dua Sampai Tiga Kali
Model draft yang dipasangkan Liquid AI kali ini semuanya kecil. Versi 1.2B menggunakan model draft dengan 295,7 juta parameter, sementara 2.6B dan 8B-A1B berbagi satu versi dengan 327,7 juta parameter. Arsitekturnya terdiri dari 5 lapis full attention, dimensi hidden 2048, lapisan intermediate 6144, 32 query head yang berbagi 8 grup KV, dan mengusulkan 9 token kandidat setiap kali. Pada presisi BF16, penggunaan memorinya 655MB.
Kalau dihitung kasar di Mac dengan RAM 16GB: 655MB kira-kira setara 4% dari total memori, ditukar dengan respons chat lokal yang lebih dari dua kali lebih cepat. Rasio tukar ini cukup menguntungkan untuk skenario on-device — yang paling langka di perangkat on-device bukanlah puncak daya komputasi, melainkan beberapa detik jeda kosong saat menunggu.
Angkanya Tergantung Perangkat Keras yang Dipakai
Benchmark resmi dibagi ke dalam dua lingkungan, dan hasilnya cukup berbeda jauh.
| Model target | Rata-rata H100 | Puncak H100 | Rata-rata M4 Max | Puncak M4 Max |
|---|---|---|---|---|
| 1.2B-Instruct | 2.10x | 2.56x | 2.54x | 2.87x |
| 2.6B | 2.67x | 3.06x | 2.27x | 2.63x |
| 8B-A1B | 2.54x | 3.18x | 1.18x | 1.44x |
Angka 3,18x yang jadi judul berasal dari hasil terbaik 8B-A1B di H100. Model yang sama, saat dipindah ke laptop M4 Max, hanya tersisa 1,18x. Liquid AI sendiri menjelaskan alasannya: backend Metal di llama.cpp saat ini belum mengimplementasikan arsitektur mixture-of-experts dengan baik, sehingga MoE on-device menjadi titik lemah pendekatan ini.
Data acceptance rate juga ikut dipublikasikan. Untuk 8B-A1B, rata-rata 8,27 dari setiap 10 token kandidat diterima pada MATH500, sementara di GSM8K hanya 4,02. Teks dengan struktur rapi dan mudah diprediksi seperti pembuktian matematika membuat model draft lebih mudah menebak dengan tepat; begitu berpindah ke soal cerita anak SD yang cara penulisannya lebih bebas, tingkat keberhasilannya langsung turun setengahnya.
Ada satu data lagi yang lebih dekat dengan penggunaan praktis: pada skenario pemanggilan fungsi multi-tool, latensi versi 2.6B turun rata-rata 57%. Setiap langkah yang diambil agent harus menunggu model mengeluarkan pemanggilan terstruktur, dan proses bolak-balik seperti ini paling rentan terhadap penumpukan latensi.
Dari Mana Metode Ini Berasal
Nama DSpark bukan diciptakan oleh Liquid AI. Nama ini berasal dari sebuah riset yang di-open source-kan DeepSeek bersama Universitas Peking akhir Juni tahun ini, yang memadukan backbone draft paralel dengan Markov head yang ringan, ditambah mekanisme yang menjadwalkan panjang verifikasi berdasarkan beban GPU secara real-time. Data yang dirilis saat itu menyebutkan peningkatan kecepatan generasi untuk pengguna tunggal sebesar 60% hingga 85%, dengan throughput per GPU mencapai hingga 6,6x di bawah target latensi yang ketat.
Dua bulan kemudian, metode ini muncul dalam rilis sebuah perusahaan model on-device asal AS. SGLang mengaktifkannya cukup dengan menambahkan flag --speculative-algorithm DSPARK, sementara llama.cpp sudah mendukung FP16 GGUF di backend Metal sejak hari pertama. Fakta bahwa framework hulu menuliskan nama algoritme ini langsung sebagai nilai switch di command line saja sudah menunjukkan bahwa metode ini sudah dianggap sebagai standar de facto.
Laboratorium riset di Tiongkok dalam beberapa tahun terakhir sudah banyak meng-open source-kan hasil rekayasa di sisi inference, dan diskusinya kebanyakan berkutat pada soal bisa tidaknya menghemat GPU. Efek limpahan DSpark kali ini menunjukkan jenis imbalan yang berbeda: metodenya sudah masuk ke jalur default milik pihak lain, dan setiap deployment berikutnya yang dibangun di atas framework tersebut pada dasarnya menjalankan ide Anda.
Lisensi Menarik Sebuah Garis
Bobot model dirilis dalam dua format, Safetensors dan GGUF, di bawah LFM Open License 1.0: entitas dengan pendapatan tahunan di bawah 10 juta dolar AS bisa memakainya secara komersial tanpa biaya, sementara yang berada di atas batas itu harus bernegosiasi perjanjian komersial terpisah. Satu-satunya cara deployment adalah self-hosted — Liquid AI tidak menyediakan API hosted.
Garis batas ini ditarik tepat di antara startup dan perusahaan menengah-besar, dan tujuannya cukup jelas: menukar kuota gratis dengan pilihan default para developer, sambil menyimpan pendapatan untuk kalangan yang mampu membayar.
Sumber: blog resmi Hugging Face, model card Liquid AI, CocoLoop, MarkTechPost; angka percepatan, jumlah parameter, dan data acceptance rate mengacu pada tabel benchmark resmi, sementara ketentuan lisensi mengacu pada halaman model.