量化與蒸餾成為大模型上小裝置的核心技術
量化與蒸餾是目前將模型變小變快的兩種主流技術路線，使大型模型能在資源受限的硬體上部署。
技術 資訊與深度分析
收錄 技術 相關產品動態與產業觀察，共 4 篇文章。
大模型上下文視窗衝上100萬token
主流AI模型現已提供百萬級token的上下文視窗，但準確性與成本仍是重大挑戰。
MiniMax-01 用 Lightning Attention 降低算力
MiniMax去年發表的01系列模型中，技術亮點Lightning Attention透過線性注意力變種路線，將計算複雜度從O(n²)降至接近O(n)，在長上下文場景帶來數倍速度提升，同時維持競爭力準確度。
DeepSeek低成本訓練大模型解析
DeepSeek在成本控制上的水準已成為業界傳說級別的存在，V3訓練成本約550萬美元，R1 GPU使用費約29.4萬美元，同期美國公司訓練類似規模模型的預算則在1億到10億美元之間。