MiniMaxが昨年リリースした01シリーズモデルの技術的なハイライトの一つがLightning Attentionであり、その核心的な目的は極めて直接的だ——注意機構の計算複雑性を低減することである。
従来の注意機構の問題点
標準的なTransformerの注意機構はO(n²)の複雑性を持つ——入力長が倍になれば計算量は四倍になる。これが初期モデルのコンテキストウィンドウが短かった（512、1024トークン）理由であり、それ以上長くなると計算コストが爆発的に増加するからだ。
その後、様々な最適化（FlashAttention、PagedAttentionなど）が登場したが、O(n²)という根本的な制約は変わっていない。
Lightning Attentionのアプローチ
Lightning Attentionは線形注意機構の派生路線を採用している。注意機構の計算方法を変更することで、複雑性をO(n²)からほぼO(n)に引き下げる。
具体的には、注意行列の近似分解を行い、モデルの表現力を維持しつつ浮動小数点演算量を大幅に削減する。MiniMaxは、長文脈シナリオにおいてこの最適化により数倍の速度向上が得られると主張している。
実際の効果
MiniMax-01シリーズは、百万トークンレベルの長文脈テストで良好なパフォーマンスを示し、標準的な注意機構を使用する同規模モデルよりも明らかに高速である。Needle-in-a-Haystackタイプの検索テストでも高い精度を維持している。
ただし、線形注意機構のトレードオフは精度である。正確な長距離注意が必要なタスクでは、線形近似が情報を損失する可能性がある。これが、現在の主流モデルがO(n²)注意機構を完全に放棄していない理由でもある——より正確だが、より高コストだからだ。
業界動向
MiniMaxだけがこの取り組みを行っているわけではない。注意機構の複雑性低減は業界全体の共通課題である：
- Googleの各種注意機構バリアント
- MetaのLlamaにおけるGQA（Grouped Query Attention）
- Mamba/SSMは注意機構を完全に放棄する路線
最終的な方向性はハイブリッドアーキテクチャかもしれない——正確な注意が必要な層には標準注意機構を、残りの層には線形注意機構やSSMを使用し、精度と効率のバランスを取る。
出典：CocoLoop、MiniMax公式技術レポート