昨年8月、DeepSeekはV3.1をリリースしました。これは同社初のハイブリッドモデルであり、V3（汎用）とR1（推論）の能力を1つのモデルに統合したものです。
アーキテクチャ設計
- 総パラメータ数：671B、トークンあたりの活性化パラメータ数：37B
- 1層あたり256のエキスパート、うち8つを活性化
- ワンクリックで切り替え可能な2つのモード：
- Thinkモード（deepseek-reasoner）：多段階推論＋ツール呼び出し
- Non-thinkモード（deepseek-chat）：日常的な会話、軽快な応答
両モードは重みを共有し、コンテキストウィンドウは128Kです。
「ハイブリッド」が優れている理由
SWE-bench Verifiedのスコアを直接見てみましょう：
- V3.1：66.0%
- R1-0528：44.6%
コーディングベンチマークでは、ハイブリッドモデルが純粋な推論モデルを上回っています。Thinkモードは、推論集約型タスクにおいてR1の約90～95%の性能を達成し、応答速度も高速です。
本質的にV3.1は、1つのモデルで「クイックQ&A」と「深い推論」の両方を処理できること、つまり以前は別々にデプロイする必要があったシナリオを実現できることを証明しています。
トレーニングの詳細
V3.1-Baseをベースに、さらに8400億トークンを使用してトレーニングが行われました：
- 32Kフェーズ：6300億トークン
- 128K拡張フェーズ：2090億トークン
主な改善点は、長文コンテキストの理解、ツールの使用、エージェントワークフローに焦点を当てています。DeepSeekは公式にV3.1を「エージェント時代への第一歩」と位置づけています。
実用的な観点から言えば、V3.1があれば、汎用モデルと推論モデルのどちらを使うか迷う必要はありません。タスクを渡して、モデル自身に判断させるだけで済みます。
出典：CocoLoop、The Decoderの報道、DeepSeek公式発表