AppleのAI戦略は他社とは一線を画しています。最も強力な汎用モデルを追い求めるのではなく、オンデバイス展開とプライバシー保護を重視しています。
オンデバイスモデル：3Bパラメータ
2025年のWWDCで、AppleはApple Foundation Models（AFM）を発表しました。オンデバイス版は約30億パラメータで、Apple Silicon向けに特別に最適化されています。
主要な技術は以下の通りです。
- KVキャッシュ共有：モデルを2つのブロック（深さ比5:3）に分割。後方のブロックは前方のブロックのKVキャッシュを直接再利用し、メモリ使用量を37.5%削減。
- 2ビット量子化認識トレーニング：重みを2ビット、埋め込み層を4ビット、KVキャッシュを8ビットに圧縮。
- 低ランクアダプター：量子化による精度低下を補償。
結果として、3BパラメータのモデルがiPhone上でスムーズに動作するよう圧縮され、十分な性能を維持しています。
サーバーサイドモデル：PT-MoE
オンデバイスで処理できない複雑なタスクはサーバーに送られますが、Apple独自のPrivate Cloud Computeを使用します。これはAppleの自社設計チップ上で動作し、データはAppleのセキュアエンクレーブから離れることはありません。
サーバーサイドのアーキテクチャはParallel-Track MoEと呼ばれ、複数の小型Transformer「トラック」がトークンを並列処理し、入力と出力の境界でのみ同期を行います。同期オーバーヘッドは87.5%削減されています。
プライバシー優先
Appleの設計における優先順位は明確です。
- 可能な限りオンデバイスで処理する。
- クラウドに送る必要があるタスクにはPrivate Cloud Computeを使用する。
- 15言語をサポートし、テキストと画像の入力を理解する。
これは、OpenAI、Anthropic、Googleなどの「すべてをクラウドに」というアプローチとは対照的です。Appleは、ユーザーがプライバシーを優先するためにある程度の性能を犠牲にすることを厭わないと見ています。
開発者にとってもメリットがあります。AppleはFoundation Modelsフレームワークを公開し、サードパーティ製アプリがオンデバイスモデルを直接呼び出せるようにしました。ただし、その性能はGPT-4レベルのクラウドモデルには及ばず、軽量なテキスト処理や理解タスクに適しています。
出典：CocoLoop、Apple Machine Learning Research