ModelScope（魔搭社区）にQwen3.8-Flash-Nextの予告ページが掲載され、カウントダウンは8月26日23時（UTC+8）を指している。標準版とFP8版が同時に公開される予定だ。Hugging Face上の同名リポジトリの説明文はわずか一行、「A Preview of the Qwen4 Architecture」とだけ記されている。
予告ページから流出したパラメータ構成は、主パラメータ125B、追加のN-gram埋め込み51B、トークンあたりの活性化パラメータ6B。モデルはマルチモーダルMoEと位置づけられ、公式の説明によれば次世代Qwen4アーキテクチャの上に構築されており、アーキテクチャの進展を先んじてオープンソース化することで、コミュニティがQwen4シリーズを迎える準備を整えられるようにしたという。
活性化率は5%未満に圧縮
125Bのうち活性化するのはわずか6B、活性化率はざっと計算して5%を下回る。参考までに、ここ数年業界でよく見られるスパースMoEの多くは5%から10%の範囲に収まっており、Flash-Nextはそのスパース度をさらに一段引き下げた形だ。
推論コストを明確に見据えた構成である。MoEのメモリ使用量は総パラメータ数で決まり、計算量は活性化パラメータ数で決まる——125Bの重みはVRAMに載せる必要があるが、1回の順伝播で通るのは6Bの経路だけだ。デプロイの観点で言えば、GPU容量のハードルは下がらないが、計算量とレイテンシのハードルは大きく下がる。FP8版と組み合わせれば、重みの占有量はさらに半分ほど削減できる見込みだ。名前にある「Flash」は、おそらくこの点を指している。
パラメータ表の中で珍しいのが、主パラメータから切り分けて記載された51BのN-gram埋め込みだ。埋め込み系の構造は通常テーブル参照が中心で、層ごとの行列演算には関与しない。Flash-Nextも同じ方式を採っているなら、この51Bは計算負荷というより、VRAMを費やして精度を買う投資に近いと見られる——実際の実装については、今夜公開されるモデルカードと設定ファイルを待たなければ確認できない。
なぜ「3.8」なのにQwen4アーキテクチャなのか
命名は違和感があるが、ロジックは筋が通っている。Qwenが3.xシリーズの終盤にNextプレビュー版を出すのはこれが初めてではなく、手口は同じだ。次世代のルーティング方式、Attentionのバリアント、学習スタックを中規模モデルでまず動かしてオープンソース化し、コミュニティに先にツールチェーンを整えてもらってから、正式なメジャーバージョンを投入する。
実利は大きい。オープンソースモデルが公開当日にvLLM、SGLang、llama.cppといったフレームワークにそのまま取り込まれるかどうかは、最初の2週間の採用曲線を大きく左右する。アーキテクチャに新しい演算子や新しいルーティング方式が入ると、対応に数週間かかることも珍しくない。Unslothはすでにday-zero対応を進めていると発表しており、まさにこの路線を辿っている——アーキテクチャ対応の時間コストを、Qwen4の発表日から今日に前倒ししたわけだ。
Hugging Face上の当該リポジトリは、公開前の時点ですでに1299人が通知登録をクリックしている。モデルカードすらまだない空のリポジトリとしては、決して低い数字ではない。
今夜以降、何を見るべきか
予告ページが明かしているのはパラメータ数までで、コンテキスト長、マルチモーダル対応がどの範囲まで及ぶか、ライセンスがApache 2.0を継続するか、そして最も重要なベンチマークスコアという肝心な指標は一つも公開されていない。
アリババはこの1年、オープンソース戦略において重みをエコシステムへの入り口と位置づけ、Maxクラスのモデルの重みまで公開してきた。Flash-Nextは、そのタイムラインをさらに前倒しする一手だ——モデルが成熟する前に、まずアーキテクチャを先出しする。国内（中国国内）で推論デプロイやファインチューニングに取り組むチームにとって、今夜23時以降の48時間は慌ただしいものになりそうだ。
参考資料：ModelScopeモデルページ、Hugging Faceリポジトリ、CocoLoop、Decrypt、Hacker Newsコミュニティの議論；パラメータ構成と公開時刻はモデルページの表示情報に基づき、活性化率は公開パラメータによる概算値。