オンデバイス向けモデルを手がけるEdge0は11月12日、Edge0-145BとEdge0-120Bをオープンソースとして公開した。あわせて統合推論フレームワークとデプロイツールも提供する。同社は、145Bはパラメーター数が1450億に達した初のオープンソースのオンデバイスモデルだと説明しており、対象はサーバーではなく個人のノートPCだ。
初期対応OSはmacOS、Windows、Linux。ハードウェアはApple Mシリーズのほか、NvidiaのRTX Spark、RTX 4090、RTX 5090などをカバーする。重みはHugging Face、推論フレームワークはGitHubで公開された。アカウント不要で利用上限もないデスクトップアプリも用意され、主要機能はオフラインで使える。
ベンチマークの比較相手は「Flash」級のクラウドモデル
Edge0が公表した結果では、DeepSWE 1.1が64.6で、Qwen3.8-Flash-Nextは58.7、DeepSeek-V4-Flash-0731は54.4。Terminal-Bench 2.1は86.52で、この2モデルの83.3と82.7を上回る。GPQA-Diamondは90.4で、DeepSeek-V4-Flash-0731の90.8をわずかに下回り、HLEは35.4で、Qwen3.8-Flash-Nextの35.9をわずかに下回った。
ただし、これらのスコアには前提がある。Edge0、Qwen、DeepSeek、Claudeの結果はいずれもEdge0の社内評価によるもので、完全なテスト環境と再現手順は技術レポートとともに公開される予定だ。比較表のClaudeはOpus 4.6 (Max)で、世代が古く、現在の最上位モデルはすでに更新されている。第三者による再検証が出るまでは、この表はベンダー自己申告として扱うべきだろう。
同社が以前に出したスマートフォン向けモデルと比べると、飛躍は大きい。9月に発表されたEdge0-35BはiPhone 18 Pro Maxで約2.5GBのメモリを使い、毎秒37トークン超で動作する。145Bのパラメーター数はその約4倍で、動作環境はノートPCになった。Edge0は、Appleのオンデバイス基盤モデルが約3B、GoogleのGemini Nanoが1.8Bと3.25Bの2種類であることを挙げ、これまでのオンデバイスモデルは概ね10B未満だったと説明している。
1450億パラメーターを29GBに収める方法
概算すると、145Bパラメーターを一般的な4ビット量子化にしても、重みだけで約72GBが必要になり、29GBを大きく超える。Edge0が示す方法は4層に分かれる。
アーキテクチャで大きな行列を共有する。64のエキスパートごとに2組の大きな行列を共有し、各エキスパートは差分を表す小さなパラメーター群だけを持つ。保存と転送の対象となる重みの量が減る一方、エキスパート数は変わらない。1回の推論ステップで活性化するのは約10Bパラメーターだ。
学習段階からオンデバイス構造で作る。モデルは最初からオンデバイス向けアーキテクチャで学習しており、「まずクラウド向け大規模モデルを学習し、その後に圧縮・枝刈りする」手法はとっていない。
ロードは3段階のストレージパイプライン。よく使う「ホットエキスパート」はVRAMに常駐させ、約40GBのエキスパートプールはシステムメモリに置いて必要に応じてVRAMへ呼び込む。約48GBの語彙データはSSDに置き、使うときに読み出す。読み込みと計算を重ねて進め、直列の待ち時間を避ける。
スケジューリングではCPUとGPUが協調する。キャッシュ内のエキスパートはGPUが計算し、残りをCPUが並行して処理する。さらに投機的デコーディングで複数の候補トークンを一度に検証し、重みの読み出しコストをより多くの出力に分散させる。
ブログで説明が足りない点もある。ピークメモリの29GBと、システムメモリに置かれる約40GBのエキスパートプールという2つの数字がどう整合するのか、集計がVRAM側だけなのかについて、文中に説明はない。Edge0自身の比較図では48GBのノートPCで利用可能とされており、ローカルで動かしたい場合は48GBのユニファイドメモリを用意するほうが安全だろう。
デモと同社の主張
Edge0はローカルエージェントのデモをいくつか公開した。1時間以内の解説動画の制作、Blenderでのマンハッタンの街並みシーンの構築、障害物をくぐり抜けて赤いリュックを探すドローンプログラムの作成、KiCadでの基板レイアウトからUE5の組み立てアニメーションまでの一貫した制作などだ。これらはいずれも社内テストで、人件費やクラウドのトークン費用をどれだけ節約できるかという試算も、同社自身の換算による。
同社はさらに、4つのシリーズで1年間に200のモデルを公開したこと、オープンソースモデルの3カ月間のダウンロード数が1500万回を超えたこと、10月時点で顧客組織が11万社以上あることを明らかにした。これらの規模に関する数字は現時点では同社の一方的な説明にとどまり、裏付けは取れていない。
参考資料：Edge0公式発表ブログ、Hugging Faceモデルページ、CocoLoop、Edge0 GitHub推論フレームワーク資料。ベンチマークはいずれもEdge0の社内評価、29GBはベンダー実測のピークメモリ。