Strategi AI Apple sangat berbeda dari yang lain — tidak mengejar model umum terkuat, melainkan berfokus pada penerapan di perangkat dan perlindungan privasi.
Model di perangkat: 3B parameter
Pada WWDC 2025, Apple mengumumkan Apple Foundation Models (AFM). Versi di perangkat memiliki sekitar 3 miliar parameter dan dioptimalkan khusus untuk Apple Silicon.
Beberapa teknologi utama:
- Berbagi KV-cache: Model dibagi menjadi dua blok (rasio kedalaman 5:3). Blok belakang langsung menggunakan kembali KV cache dari blok depan, mengurangi penggunaan memori sebesar 37,5%.
- Pelatihan sadar kuantisasi 2-bit: Bobot dikompresi menjadi 2 bit, lapisan embedding menjadi 4 bit, dan KV cache menjadi 8 bit.
- Adaptor peringkat rendah: Mengompensasi hilangnya akurasi akibat kuantisasi.
Hasil akhirnya: model dengan 3B parameter dikompresi sehingga dapat berjalan lancar di iPhone sambil mempertahankan tingkat kemampuan yang memadai.
Model sisi server: PT-MoE
Tugas kompleks yang tidak dapat ditangani di perangkat dikirim ke server, tetapi menggunakan Private Cloud Compute milik Apple sendiri — berjalan di server cloud dengan chip buatan Apple, data tidak meninggalkan area aman Apple.
Arsitektur sisi server disebut Parallel-Track MoE, terdiri dari beberapa "jalur" Transformer yang lebih kecil yang memproses token secara paralel, hanya melakukan sinkronisasi di batas input dan output. Overhead sinkronisasi berkurang 87,5%.
Prioritas privasi
Prioritas desain Apple jelas:
- Jika bisa diproses di perangkat, jangan kirim ke cloud.
- Jika harus ke cloud, gunakan Private Cloud Compute.
- Mendukung 15 bahasa dan memahami input teks dan gambar.
Ini sangat kontras dengan pendekatan OpenAI, Anthropic, dan Google yang "semuanya ke cloud". Apple bertaruh bahwa pengguna bersedia mengorbankan beberapa kemampuan demi privasi.
Ada juga keuntungan bagi pengembang — Apple membuka framework Foundation Models, sehingga aplikasi pihak ketiga dapat langsung memanggil model di perangkat. Namun, kemampuannya masih tertinggal dari model cloud seperti GPT-4, sehingga lebih cocok untuk tugas pemrosesan dan pemahaman teks ringan.
Sumber: CocoLoop, Apple Machine Learning Research