어텐션 메커니즘 뉴스와 분석

MiniMax-01, Lightning Attention으로 연산 능력 절감

MiniMax가 작년에 출시한 01 시리즈 모델의 기술적 하이라이트는 Lightning Attention으로, 선형 어텐션 변종 방식을 통해 계산 복잡도를 O(n²)에서 거의 O(n) 수준으로 낮춰 긴 컨텍스트 시나리오에서 속도를 크게 개선하면서도 경쟁력 있는 정확도를 유지한다.