Liquid AIが投機的デコードで3.18倍高速化

8月20日、Liquid AIはHugging Face上でLFM2.5-DSparkドラフトモデル群を公開し、自社の3モデル—LFM2.5-1.2B-Instruct、2.6B、8B-A1B—に投機的デコードを実装した。公式発表によれば最大3.18倍の高速化を実現し、出力結果は元のモデルと完全に一致するという。

投機的デコードの発想自体はシンプルだ。まず小型モデルに次の数トークンを先読みで予測させ、大型モデルは1トークンずつ計算する代わりに、その候補列を1回のフォワードパスでまとめて検証する。予測が当たればそのまま採用し、外れた場合のみ再計算する。節約できるのは、重みを何度も出し入れする時間そのものだ。

655MBで2〜3倍を手に入れる

今回Liquid AIが組み合わせたドラフトモデルはいずれも非常に小さい。1.2B版には2億9570万パラメータのドラフトモデルが対応し、2.6Bと8B-A1Bは3億2770万パラメータの版を共用する。構造は5層のフルアテンション、隠れ次元2048、中間層6144、32のクエリヘッドが8グループのKVを共有し、1回に9個の候補トークンを提案する。BF16精度でのメモリ使用量は655MBだ。

16GBメモリのMacで大まかに計算すると、655MBは総メモリの約4%に相当する。それと引き換えに、ローカルでのチャット応答が2倍以上速くなる。この交換比率はオンデバイス環境では十分に割に合う。オンデバイスで本当に不足しているのは演算性能のピーク値ではなく、待ち時間中のあの数秒間の空白だからだ。

数字はハードウェア次第

公式ベンチマークは2種類の環境で計測しており、結果には無視できない差がある。

タイトルにある3.18倍という数字は、8B-A1BがH100で叩き出した最高値だ。同じモデルをM4 Maxノートに移すと1.18倍まで落ち込む。Liquid AI自身がその理由を説明している。llama.cppのMetalバックエンドは現状、Mixture of Experts構造の実装が十分でなく、オンデバイスでのMoEがこの手法の弱点になっているという。

受理率のデータも合わせて公開された。8B-A1BはMATH500で候補トークン10個中平均8.27個が受理される一方、GSM8Kでは4.02個にとどまる。数学の証明のように構造が整然として予測しやすいテキストではドラフトモデルの予測精度が高いが、小学校の文章題のように表現が自由なタイプになると的中率は一気に半分に落ちる。

実用面により近いデータもある。マルチツールの関数呼び出しシナリオでは、2.6B版のレイテンシが平均57%低下した。エージェントは各ステップで構造化された呼び出しの出力を待つ必要があり、この往復処理はレイテンシの積み重ねに最も弱い部分だ。

手法の出どころ

DSparkという名称はLiquid AIが名付けたものではない。これは今年6月末にDeepSeekが北京大学と共同でオープンソース化した研究に由来する。並列ドラフトバックボーンに軽量なマルコフヘッドを組み合わせ、さらにGPUのリアルタイム負荷に応じて検証長を調整する仕組みを加えたものだ。当時公表されたデータでは、単一ユーザーの生成速度が60〜85%向上し、厳格なレイテンシ目標下では単一GPUのスループットが最大6.6倍に達したという。

その2カ月後、この手法は米国のオンデバイスモデル企業のリリースに登場した。SGLangでは--speculative-algorithm DSPARKという引数を追加するだけで有効化でき、llama.cppは公開初日からMetalバックエンドでFP16 GGUFに対応した。上流のフレームワークがアルゴリズム名をそのままコマンドラインのスイッチ値として書き込んでいること自体、この手法がすでに事実上の標準として扱われていることを物語っている。

中国国内の研究機関はここ数年、推論側のエンジニアリング成果を数多くオープンソース化してきたが、議論の大半はGPUコストを削減できるかどうかに集中していた。今回のDSparkの波及効果は、それとは異なる種類のリターンを示している。手法が他社のデフォルトの実装経路に組み込まれ、そのフレームワークをベースにした今後のあらゆるデプロイが、自分たちの発想の上で動くことになるのだ。

ライセンスが引いた一線

重みはSafetensorsとGGUFの2形式で公開され、LFM Open License 1.0の下で提供される。年間売上高1000万ドル未満の主体は無償で商用利用でき、それを超える場合は別途商用契約の交渉が必要になる。デプロイ方法はセルフホスティングのみで、Liquid AIはホスティングAPIを提供していない。

この線引きはスタートアップと中堅・大企業の間にきっちり引かれており、意図は明確だ。無料枠と引き換えに開発者のデフォルトの選択肢を獲得し、収益は支払い能力のある層から得るという狙いである。

参考資料：Hugging Face公式ブログ、Liquid AIモデルカード、CocoLoop、MarkTechPost。高速化倍率、パラメータ数、受理率のデータは公式ベンチマーク表に、ライセンス条項はモデルページに準拠。