注意力機制 資訊與深度分析

MiniMax-01 用 Lightning Attention 降低算力

MiniMax去年發表的01系列模型中，技術亮點Lightning Attention透過線性注意力變種路線，將計算複雜度從O(n²)降至接近O(n)，在長上下文場景帶來數倍速度提升，同時維持競爭力準確度。