Perusahaan model on-device Edge0 pada 12 November membuka sumber Edge0-145B dan Edge0-120B, sekaligus merilis kerangka inferensi terpadu dan perangkat penerapan. Perusahaan menyebut 145B sebagai model on-device open source pertama yang mencapai 145 miliar parameter, dengan target perangkat laptop pribadi tanpa perlu server.
Rilis awal mendukung macOS, Windows, dan Linux, mencakup chip Apple seri M serta platform Nvidia seperti RTX Spark, RTX 4090, dan RTX 5090. Bobot model tersedia di Hugging Face, kerangka inferensi di GitHub, dan ada pula aplikasi desktop tanpa akun serta tanpa batas kuota yang fitur intinya bisa dipakai secara luring.
Skor uji dibandingkan dengan model cloud kelas “Flash”
Dalam hasil yang dipublikasikan Edge0, DeepSWE 1.1 meraih 64,6, sedangkan Qwen3.8-Flash-Next 58,7 dan DeepSeek-V4-Flash-0731 54,4. Pada Terminal-Bench 2.1 skornya 86,52, di atas 83,3 dan 82,7 milik kedua model itu. GPQA-Diamond 90,4, sedikit di bawah DeepSeek-V4-Flash-0731 yang 90,8, dan HLE 35,4, juga sedikit di bawah Qwen3.8-Flash-Next yang 35,9.
Skor ini punya satu syarat: hasil Edge0, Qwen, DeepSeek, dan Claude semuanya berasal dari evaluasi internal Edge0, dan lingkungan pengujian lengkap beserta panduan reproduksinya akan dirilis bersama laporan teknis. Claude dalam tabel perbandingan adalah Opus 4.6 (Max), generasi yang lebih lama, sementara model andalan saat ini sudah lama diperbarui. Sebelum ada pengujian ulang pihak ketiga, tabel ini hanya bisa dianggap sebagai klaim vendor.
Dibandingkan model ponsel buatan sendiri sebelumnya, lompatannya besar. Edge0-35B yang dirilis pada September memakai sekitar 2,5GB memori di iPhone 18 Pro Max dengan kecepatan lebih dari 37 token per detik. Jumlah parameter 145B sekitar empat kali lipatnya, dan kini dijalankan di laptop. Edge0 mengutip model dasar on-device Apple sekitar 3B serta Gemini Nano dari Google dalam dua versi, 1,8B dan 3,25B, untuk menunjukkan bahwa model on-device sebelumnya umumnya di bawah 10B.
Bagaimana 145 miliar parameter muat di 29GB
Hitungan kasarnya: 145B parameter dengan kuantisasi 4-bit biasa membutuhkan sekitar 72GB hanya untuk bobot, jauh melampaui 29GB. Cara yang dipaparkan Edge0 terdiri dari empat lapis.
Dari sisi arsitektur, matriks besar dipakai bersama. Setiap 64 pakar (expert) berbagi dua set matriks besar, dan tiap pakar hanya menyimpan sekumpulan kecil parameter yang menggambarkan perbedaannya. Jumlah bobot yang disimpan dan dipindahkan pun turun, sementara jumlah pakar tidak berubah. Setiap langkah inferensi hanya mengaktifkan sekitar 10B parameter.
Pelatihan sejak awal memakai struktur on-device. Model dilatih langsung di arsitektur on-device, tanpa menempuh jalur “latih dulu model cloud besar, lalu kompres dan pangkas”.
Pemuatan lewat saluran penyimpanan tiga tingkat. “Pakar panas” yang sering dipakai tetap berada di VRAM, kumpulan pakar sekitar 40GB ditaruh di memori sistem dan dipanggil ke VRAM sesuai kebutuhan, sedangkan data kosakata sekitar 48GB disimpan di SSD dan dibaca saat diperlukan. Pembacaan dan komputasi berjalan tumpang tindih sehingga tidak ada antrean serial.
Penjadwalan melibatkan CPU dan GPU sekaligus. GPU menghitung pakar yang ada di cache, CPU memproses sisanya secara paralel, lalu dekode spekulatif memverifikasi beberapa kandidat token sekaligus agar biaya membaca bobot terbagi ke lebih banyak keluaran.
Ada satu hal yang tidak dijelaskan blog tersebut: bagaimana angka memori puncak 29GB bisa selaras dengan kumpulan pakar sekitar 40GB di memori sistem, dan apakah penghitungannya hanya mencakup sisi VRAM. Grafik perbandingan milik Edge0 sendiri menandai kebutuhan laptop 48GB, jadi pengguna yang ingin menjalankannya secara lokal lebih aman menyiapkan memori terpadu 48GB.
Demo dan klaim perusahaan
Edge0 menampilkan beberapa demo agen lokal: membuat video penjelasan dalam satu jam, menyusun adegan kota Manhattan di Blender, menulis program drone yang melewati rintangan untuk mencari tas punggung merah, dan mengerjakan tata letak papan di KiCad hingga animasi perakitan di UE5. Semuanya adalah pengujian internal perusahaan, dan perkiraan penghematan tenaga kerja serta biaya token cloud juga hasil hitungan perusahaan sendiri.
Perusahaan juga menyatakan keempat serinya telah merilis 200 model dalam setahun, model open source-nya diunduh lebih dari 15 juta kali dalam tiga bulan, dan per Oktober memiliki lebih dari 110 ribu organisasi pelanggan. Angka-angka skala ini saat ini hanya berasal dari pihak perusahaan dan belum dapat diverifikasi.
Sumber: blog rilis resmi Edge0, halaman model Hugging Face, CocoLoop, dokumentasi kerangka inferensi Edge0 di GitHub; seluruh skor uji berasal dari evaluasi internal Edge0, dan 29GB adalah memori puncak hasil pengukuran vendor.