Fireworks AIがDeepSeek-V4.1-Flashのベンチマークデータを公開した。結論は一言に集約される。エージェント型コーディングタスクにおいて、このモデルはGPT-6 Astraと同じ精度帯に入りながら、タスクあたりのコストは15分の1に収まっているという内容だ。
まずスコアを見る。DeepSWEのpass@1指標では、DeepSeek-V4.1-Flashが74.34%、GPT-6 Astraが74.12%、Gemini 3.8 Flashが73.83%、Claude Opus 5が73.65%。4モデルが0.69ポイントの幅に収まっており、どれが1位かを議論する意味はあまりない。Terminal-Bench 2.1では、DeepSeekが86.5%、Astraが87.5%とAstraがやや上回った。
コストを計算するとこうなる
Fireworksが示した1タスクあたりのコストは、DeepSeek-V4.1-Flashが0.430ドル、Gemini 3.8 Flashが2.362ドル、GPT-6 Astraが6.524ドル、Claude Opus 5が11.838ドル。DeepSeekを基準にすると、残り3モデルはそれぞれ5.5倍、15倍、28倍のコストになる。
この倍率を実際の予算に当てはめてみる。10人のエンジニアチームが、1人1日あたり20件のエージェントコーディングタスクをこなし、月の稼働日を22日とすると、月間タスク数は4400件になる。DeepSeekで実行すると月額はおよそ1892ドル、Astraで実行するとおよそ28706ドル。差は月あたり約2万6800ドル、年間では約32万ドルに達する。あくまで概算であり、実際のタスクのトークン分布はベンチマークと完全には一致しないが、桁数としてはこの水準になる。
HLEでは逆の差が開く
同じデータセットには逆方向の差も存在する。Humanity's Last Examの項目では、DeepSeek-V4.1-Flashが34.52%、GPT-6 Astraが50.40%で、差は15.88ポイントに達する。コーディングタスクでの互角ぶりは、この種の難易度が高い総合推論タスクには及んでいない。
FireworksはOracle Routerという指標も示している。2つのモデルを組み合わせた場合の理論スコアは54.80%。これは上限値であり、どの問題をどちらのモデルに振るべきかを事前に判定できることが前提になる。実際のルーティングシステムはその情報を持たない。この数字は、両モデルの弱点が重なっていないことを示すものであり、実運用可能な方式を意味するわけではない。
アーキテクチャの側面
モデル自体は552BパラメータのMoEで、入力側と出力側でアクティベーション量を分離している。入力側は8B、出力側は16Bがアクティベートされる。KV cacheの変更はより直接的で、HBM使用量は前世代の4分の1、SSD使用量は8分の1に削減された。
コスト優位の出どころはここにある。エージェント型コーディングタスクはコンテキストが長くターン数も多いため、一問一答型のタスクよりKV cacheのコストに占める割合が大きい。キャッシュのメモリとディスク使用量を4分の1と8分の1まで圧縮できれば、同じハードウェアでより多くの同時リクエストを処理できるようになり、1タスクあたり0.43ドルという数字が成立する。これは価格戦略だけで作られた数字ではない。
この数字の出所
はっきりさせておく必要がある点として、このベンチマークはFireworks AI自身が公開したものであり、DeepSeek-V4.1-Flashは同社のプラットフォーム上で販売されている。評価する側と販売する側が同一企業ということだ。DeepSeek側はこの数字を確認しておらず、独立した第三者による再現も今のところ見当たらない。
ベンチマークの選び方自体も結論を左右する。DeepSWEとTerminal-Bench 2.1はいずれもエンジニアリング寄りのコーディングタスクで、日常の開発業務との重なりは悪くないが、別のベンチマークやタスク分布に変えた場合、4モデルの相対的な位置関係が0.69ポイントの幅に収まり続けるかは、このデータからは分からない。倍率の関係として読むのはよいが、モデル能力の最終的な序列として扱うのは早計だ。
参考資料：Fireworks AI技術ブログ、CocoLoop；DeepSWE、Terminal-Bench 2.1、HLEの各スコアと1タスクあたりのコスト、モデルのアーキテクチャパラメータは原文のブログ記事と逐一照合済み。10人チームの月間支出は概算値。