アテンション機構のニュースと分析

MiniMax-01、Lightning Attentionで計算能力を削減

MiniMaxが昨年リリースした01シリーズは、Lightning Attentionという線形注意機構の派生手法を採用。計算複雑性をO(n²)からほぼO(n)に引き下げ、長文脈シナリオで大幅な速度向上を実現しつつ、競争力のある精度を維持する。