MiniMax가 작년에 출시한 01 시리즈 모델의 기술적 하이라이트 중 하나는 Lightning Attention으로, 핵심 목표는 매우 직접적이다——어텐션 메커니즘의 계산 복잡도를 낮추는 것이다.
기존 어텐션 메커니즘의 문제
표준 Transformer 어텐션은 O(n²) 복잡도를 가진다——입력 길이가 두 배가 되면 계산량은 네 배로 증가한다. 이것이 초기 모델의 컨텍스트 윈도우가 짧았던(512, 1024 토큰) 이유이며, 더 길어지면 계산 비용이 폭발하기 때문이다.
이후 다양한 최적화(FlashAttention, PagedAttention 등)가 등장했지만, O(n²)이라는 근본적인 제약은 변하지 않았다.
Lightning Attention의 접근 방식
Lightning Attention은 선형 어텐션의 변종 경로를 따른다. 어텐션 계산 방식을 변경함으로써 복잡도를 O(n²)에서 거의 O(n) 수준으로 낮춘다.
구체적으로는 어텐션 행렬의 근사 분해를 통해 모델의 표현력을 유지하면서 부동소수점 연산량을 대폭 줄인다. MiniMax는 긴 컨텍스트 시나리오에서 이 최적화가 수 배의 속도 향상을 가져온다고 주장한다.
실제 효과
MiniMax-01 시리즈는 백만 토큰 수준의 긴 컨텍스트 테스트에서 우수한 성능을 보이며, 표준 어텐션을 사용하는 동급 규모 모델보다 속도가 확연히 빠르다. Needle-in-a-Haystack 유형의 검색 테스트에서도 높은 정확도를 유지한다.
다만 선형 어텐션의 트레이드오프는 정밀도다. 정확한 장거리 어텐션이 필요한 작업에서는 선형 근사가 정보를 손실할 수 있다. 이것이 현재 주류 모델이 O(n²) 어텐션을 완전히 포기하지 않은 이유다——더 정확하지만 더 비싸기 때문이다.
업계 동향
MiniMax만 이 작업을 하는 것은 아니다. 어텐션 복잡도 저감은 업계 전체의 공통 과제다:
- Google의 다양한 어텐션 변형
- Meta의 Llama 내 GQA(Grouped Query Attention)
- Mamba/SSM은 어텐션을 완전히 포기하는 경로
최종적인 방향은 하이브리드 아키텍처일 수 있다——정확한 어텐션이 필요한 레이어에는 표준 어텐션을, 나머지 레이어에는 선형 어텐션이나 SSM을 사용하여 정확도와 효율성 사이의 균형을 맞추는 것이다.
출처: CocoLoop, MiniMax 공식 기술 보고서