淘宝のMNN、0.3Bのオンデバイスモデルを公開 配布サイズ173MB

淘宝(Taobao)のMNNチームは11月6日、オンデバイス向け言語モデル「MNN-Pocket-0.3B」をオープンソースとして公開した。パラメータ数は約3億で、中国語と英語を主な対象とし、スマートフォンアプリ内での動作を想定している。チームによると、アーキテクチャ、語彙、学習データから、量子化や推論エンジンに至るまでを一体で設計し、ゼロから学習したという。

iPhone 18 Proで完全オフライン動作させた場合、デコード速度は平均で約350トークン/秒。INT4の配布ファイルは173MBで、重み、トークナイザー、計算グラフ、設定ファイルがすべて含まれる。

指標を先に決め、モデルを逆算する

チームはまず、4つの厳しい指標を自らに課した。デコード速度が200トークン/秒を超えること、ピークメモリが300MB未満であること、1回の推論の消費エネルギーが基準機のバッテリーの1万分の1以下(100回実行しても消費電力が1%以内)であること、そしてこれらの制約のもとで能力を可能な限り高めることだ。

パラメータ数は逆算で決まった。約5000万〜13億パラメータの複数のDense構成を試した結果、メモリと速度の両方の制約を満たす最大規模が約3億だった。層数は16から28に増やすと能力が伸びたが、36層にするとスコアは頭打ちになり、デコード速度も355から323トークン/秒に低下したため、28層に落ち着いた。語彙はQwen3のトークナイザー(約15万1000)から6万4000へと約57%削減し、埋め込み層と出力層のコストも合わせて下げている。

ベンチマークと比較

iPad Pro M5(Metalバックエンド、512トークン設定)での比較は次のとおり。

Snapdragon 8 Gen 5のCPUバックエンドでは、デコード速度は251トークン/秒。消費エネルギーの測定にはOnePlus 13を使用し、4スレッドCPU、入力1024トークン、出力128トークンの条件で1回あたり約2.7ジュール。6000mAhバッテリーで換算すると、100回の実行で消費は約0.3%となり、チームが設定した1%の上限を大きく下回る。

能力面では、英語のIFEvalが73.20、中国語の指示追従を測るIFEval-zhが74.59、中国語数学のMGSM-zhが51.20、HumanEvalが53.66。知識、推論、数学、コード、指示追従をカバーする11項目の評価の平均は50.00で、チームはMiniCPM4-0.5BとQwen3-0.6Bを上回るとしている。このうちIFEval-zhはチームが自作した評価セットで、外部による再現結果は今のところない。

公開されたバージョンは全部で6つ。Base、SFT、指示版、W4A16量子化学習によるオンデバイス版、投機的デコード用のドラフトモデルDFlash2(特定タスクでデコードが最大2.06倍に高速化)、そして候補のランキング用の決定ヘッドDecだ。コードはGitHubのalibaba/MNNリポジトリにある。

中国のアプリ開発者にとっての意味

MNNはAlibabaが自社開発したオンデバイス推論エンジンで、2019年にオープンソース化された。手機淘宝(モバイル版Taobao)などのアプリがローカルモデルの実行に長年使ってきた。今回はモデルとエンジンがセットで公開されたため、中国のアプリ開発チームは、そのままクライアントに組み込める一式を手に入れたことになる。オープンソースの大規模モデルを自分で削り、量子化し、速度を調整する手間は要らない。

3億パラメータでは複雑な推論はこなせない。向いているのは、意図認識、短文のリライト、検索語の補完、候補のランキングといった、頻度は高いが小さなタスクだ。こうしたリクエストをこれまでクラウドで処理していたなら、毎回ネットワークの遅延とAPI費用がかかる。端末内で処理すればオフラインでも動き、ユーザーの入力が端末の外に出ることもない。ただし173MBは、ECやツール系アプリにとってはアプリサイズの負担になる。必要に応じてダウンロードさせる方式のほうが現実的かもしれない。

6つのバージョンのうち1つが専用のDec決定ヘッドであることから、チームの想定する用途はランキングや選択系のタスクに寄っているように見える。淘宝自身がどの機能でこのモデルを使っているかについては、公開資料に記載がない。

参考資料: ITHome、CocoLoop、MNNオープンソースリポジトリ。iPhone 18 ProおよびiPad Pro M5でのデコード速度、INT4配布パッケージのサイズ、評価スコアの算出基準を確認した。