DeepSeek V3.2がスパースアテンションに移行、推論コスト半減

昨年9月末、DeepSeekはひっそりとV3.2をリリースした。大々的な発表はなかったが、このバージョンには興味深いアーキテクチャ変更が含まれている。

V3.2の核心的な変更点はパラメータ規模ではなく、アテンション機構にある。彼らはDeepSeek Sparse Attention(DSA)と呼ばれるものを構築し、従来の高密度アテンションをスパース版に変換した。

スパースアテンションの節約効果

従来のアテンション機構はO(L²)の計算複雑性を持つ——シーケンス長が2倍になると計算量は4倍になる。コンテキストウィンドウが128Kトークンに達すると、このオーバーヘッドは非常に大きくなる。

DSAの動作は以下の通り:

  • まずLightning Indexer(FP8精度)を使用して、各クエリと過去のトークン間の関連性スコアを高速に計算
  • 次に、最も関連性の高いTop-kトークンのみを選択してアテンション計算を実行
  • 計算複雑性がO(L²)からO(Lk)に低下。kは固定された小さな数値

簡単に言えば、「すべての単語が他のすべての単語を見る必要はなく、最も重要なものだけで十分」ということだ。このアイデア自体は新しいものではないが、DeepSeekはそれを実用化し、本番環境に投入した。

パフォーマンス:大幅な向上も低下もなし

正直に言うと、V3.2のベンチマークはV3.1とほぼ同等であり、「より強力」というリリースではない。

タスクV3.2の結果
MMLU-Pro85.0
AIME 202589.3
Codeforces レーティング2121(2046から上昇)
GPQA/HLE 推論やや低下

コーディング能力は確かに向上し、Codeforcesレーティングは2046から2121に上昇した——これは注目に値する上昇幅だ。しかし、推論系ベンチマークは「生成される推論トークンが減少した」ためにやや低下した。これはスパースアテンションの代償の一つであり、生成される思考連鎖が短くなるためだ。

したがって、V3.2は効率と能力のトレードオフであり、全面的な進化ではない。

安さが売り

価格:入力$0.28/M、出力$0.42/M

キャッシュヒット:$0.028/M、キャッシュミスより90%安い。

比較:

モデル入力(/M)出力(/M)
GPT-5$1.25$10
Claude Sonnet 4$3$15
DeepSeek V3.2$0.28$0.42

GPT-5と比較すると、コスト差は約5倍だ。これは最も強力なモデルではないが、大量呼び出しやコスト重視のアプリケーションでは、V3.2のコストパフォーマンスに敵うものはほとんどない。

コンテキストウィンドウは128Kトークン。重みはHugging Face上でMITライセンスのもと公開されており、商用利用は自由。

アーキテクチャの詳細

DSAはTransformerベースに組み込まれており、MLAのMQAモードで動作する。推論は主にH800 GPUクラスター向けに最適化されており、他のハードウェアでの実際の性能は異なる可能性がある。DeepSeekはより広範な検証を継続中としている。

トレーニングでは統一されたGRPO強化学習を採用し、推論アライメント、指示追従、エージェントタスクを一つのトレーニングプロセスに統合した。

考察

V3.2は「より賢い」モデルではなく、「より安い」モデルだ。

スパースアテンション機構はエンジニアリング上のトレードオフである——わずかな推論能力の低下と引き換えに大幅な計算コスト削減を実現し、その削減分をAPI価格に直接反映させている。

アプリケーション開発者にとって、このアプローチはベンチマークにこだわるよりも実用的だ。すべてのシナリオに最強のモデルが必要なわけではないが、すべてのスタートアップがAPIコストを気にしている。

DeepSeekのこのアプローチはOpenAIやAnthropicとは異なる——後者はまず最強のモデルをリリースし、その後でコスト最適化を行う傾向がある。DeepSeekはまずコストを下げ、ユーザー数を増やし、その上で差別化を図る。

この戦略は中国のテクノロジー業界ではよく見られるが、大規模モデルの分野で成功するかどうかは、依然として注目に値する。

出典:CocoLoop、DeepSeek V3.2-Exp Release: Pricing, API Costs, Context Window & Benchmarks(llm-stats.com);DeepSeek V3.2 Exp Model Specs, Costs & Benchmarks(Galaxy.ai);Top 10 Cheapest Providers for DeepSeek V3.2 in 2026(DEV Community)