DeepSeek、推論高速化のDSparkを公開
DeepSeekと北京大学は、生成速度を60〜85%高め、単一GPUのスループットを最大6.6倍にする推論フレームワークDSparkをオープンソース化した。
AI推論に関する製品動向と業界分析を全3件掲載しています。
DeepSeekと北京大学は、生成速度を60〜85%高め、単一GPUのスループットを最大6.6倍にする推論フレームワークDSparkをオープンソース化した。
Xiaomi MiMo、通常GPUで毎秒1000トークン超を主張. 発表内容、戦略的な背景、影響を受ける利用者や企業にとっての実務上のリスクを整理する。
TensormeshはAMD Ventures、NVentures、CoreWeaveなどから2000万ドルを調達し、KVキャッシュプラットフォームを商用化。GPUの無駄な計算を削減する。