Meta、8160億パラメータのオープンウェイト「Muse Spark Open」公開

Metaは10月15日、「Muse Spark Open」の重みを公開した。モデルはHugging Faceで配布され、Muse Model Licenseに基づいて提供される。Muse Sparkシリーズとしては初のオープンウェイトで、総パラメータ数は8160億、トークンあたりのアクティブパラメータは420億、コンテキストウィンドウは100万トークン。画像、音声、音声付き動画の入力にネイティブ対応する。MetaはPyTorch公式ブログで、これを「the most capable US open-weight model to date」(米国でこれまでに公開された最も高性能なオープンウェイトモデル)と表現している。

オープン版は同日に配信された「Muse Spark 1.3」と同じベースモデルを共有しており、違いは事後学習にある。オープン版にはさらに安全性の事後学習が加えられ、システムレベルの保護なしで単体展開された場合でも悪用されにくくなっているとMetaは説明する。同社の「Superintelligence Scaling Framework」による評価では、公開基準を満たしたという。ただし評価レポートの全文は未公開で、公式には「近日公開」とのみ述べている。

コーディングとエージェントに特化

Metaの位置づけは絞り込まれており、コーディングとエージェントタスクが中心だ。学習データには複数ファイルにまたがるリファクタリング、デバッグセッション、長時間実行タスクが含まれ、公式は初回の試行での正確さとツール呼び出しの安定性を強調している。エージェント面では、複数のWebサイトをまたぐ長いタスクをこなすよう訓練されており、サブエージェントを立てて作業を分担できる。デスクトップ、スマートフォン、ブラウザでのコンピューター操作も一体で訓練された。実行に移る前に、何をするつもりかを説明する文章を別途出力する点も特徴だ。

Metaの研究ブログにはKey Benchmarksの欄があるものの、本文にスコアは一切記載されておらず、第三者のベンチマーク結果は待つ必要がある。ArenaはすでにこのモデルをAgent Arenaに追加したが、評価スコアはまだ公表されていない。

Mac 2台で動くのか

Metaがデスクトップ向けに示した構成は、M5 Ultra搭載のMac Studio 2台だ。各台は最大512GBのユニファイドメモリを備え、最新版のMLXと組み合わせる。AppleのMachine Learning研究チームは同日、独自の実測結果を公開した。NVFP4量子化後の重みは約493GBで、推論時の中間メモリを加えると1台には収まらない。2台でパイプライン並列を使うと毎秒15.74トークン、テンソル並列に切り替えると24.99トークン、4台のテンソル並列では36.73トークンで、テストのコンテキスト長は8192。マシン間はmacOS 26.2で導入されたThunderbolt 5 RDMAドライバーで接続し、各マシン間にケーブルを2本ずつ使う。

クラウドではさらに高速に動く。SGLangとvLLMが初日から対応し、Together AI、Modal、OpenRouterにも掲載された。Togetherのサーバーレス料金は入力100万トークンあたり1.25ドル、出力4.25ドル、キャッシュ入力0.15ドルで、米太平洋時間10月18日正午まで期間限定で無料となっている。

Metaは今回の公開を機に、自社のPyTorchツールチェーンも売り込んでいる。モデルにはHelionで書かれたカーネルが付属し、RoPE、RMSNorm、量子化などを含む。MetaによればNVIDIA GB300上で、CUDAやCuTe DSLで手書きしたカーネルより1.03〜3.95倍高速だという。同じカーネルをAMD MI350にそのまま移植した場合、エンドツーエンドのスループットは約3%向上する。ファインチューニングにはTorchTitanを使え、マルチターンSFT、LoRA、強化学習に対応する。

クローズドからオープンへ

Metaの一連の動きをつなげて見ると流れが見えてくる。Muse Sparkは登場時、Meta初のクローズドモデルとして、Llama時代の路線とは一線を画していた。8月のバージョン1.2ではコーディング製品「Muse Code」が同時に登場し、それ以前にはオンデバイス向けの小型Denseモデル「Muse Glimmer」も出していた。今回Spark本体も重みを公開したことで、Metaのモデルラインはクローズドの改良版とオープン版が並走する形になった。土台は同じで、違いは安全性の事後学習が一層入るかどうかだ。

この構成によって、Metaは両面をカバーできる。クローズド版はMuse製品とAPIで引き続き収益を上げ、オープン版は開発者や推論サービス事業者の初日対応を獲得する役割を担う。SGLangやvLLMから複数のクラウド事業者まで初日に対応しており、この点はすでに達成されている。

ライセンスは依然として不透明だ。Metaは「限定的な商用条件」とだけ記し、多くの開発者は無料で利用できるとしている。ブログには商用利用の基準が明記されておらず、Llamaライセンスのように月間アクティブユーザー数で制限をかける方式を引き継ぐのかどうかも触れていない。条項の全文はHugging Faceのページに従うことになり、商用利用を考える企業はまずこのライセンスを読み込む必要がある。

参考資料:PyTorch公式ブログ、Meta研究ブログ、CocoLoop、Apple Machine Learning Researchブログ、Together AI。Togetherの料金ページで100万トークンあたりの価格と無料期間を、Appleの実測で量子化後のサイズと毎秒トークン数を確認した。