Salah satu sorotan teknis dari seri model 01 yang dirilis MiniMax tahun lalu adalah Lightning Attention, dengan tujuan inti yang sangat langsung — mengurangi kompleksitas komputasi mekanisme atensi.
Masalah dengan Atensi Tradisional
Atensi Transformer standar memiliki kompleksitas O(n²) — menggandakan panjang input akan melipatgandakan komputasi sebanyak empat kali. Inilah mengapa model awal memiliki jendela konteks yang pendek (512, 1024 token), karena jika lebih panjang, biaya komputasi akan meledak.
Meskipun kemudian muncul berbagai optimasi (FlashAttention, PagedAttention, dll.), kendala fundamental O(n²) ini tidak berubah.
Pendekatan Lightning Attention
Lightning Attention mengikuti jalur varian atensi linier. Dengan mengubah cara atensi dihitung, kompleksitas diturunkan dari O(n²) menjadi mendekati O(n).
Secara spesifik, ini melibatkan dekomposisi aproksimasi dari matriks atensi, secara signifikan mengurangi jumlah operasi floating-point sambil mempertahankan kemampuan ekspresif model. MiniMax mengklaim bahwa optimasi ini memberikan peningkatan kecepatan beberapa kali lipat dalam skenario konteks panjang.
Kinerja Nyata
Seri MiniMax-01 menunjukkan performa yang baik dalam tes konteks panjang hingga jutaan token, dengan kecepatan yang jelas lebih unggul dibandingkan model berukuran sama yang menggunakan atensi standar. Model ini juga mempertahankan akurasi tinggi dalam tes pencarian tipe Needle-in-a-Haystack.
Namun, perlu dicatat bahwa trade-off dari atensi linier adalah presisi. Pada tugas-tugas yang memerlukan atensi jarak jauh yang presisi, aproksimasi linier dapat kehilangan informasi. Inilah mengapa model arus utama saat ini belum sepenuhnya meninggalkan atensi O(n²) — ia lebih akurat, meskipun lebih mahal.
Tren Industri
MiniMax bukan satu-satunya yang melakukan ini. Mengurangi kompleksitas atensi adalah tantangan bersama di seluruh industri:
- Berbagai varian atensi Google
- GQA (Grouped Query Attention) Meta di Llama
- Mamba/SSM mengambil jalur meninggalkan atensi sepenuhnya
Arah akhir yang mungkin adalah arsitektur hibrida — menggunakan atensi standar untuk lapisan yang memerlukan fokus presisi, dan atensi linier atau SSM untuk lapisan lainnya, untuk menyeimbangkan antara akurasi dan efisiensi.
Sumber: CocoLoop, laporan teknis resmi MiniMax