4 artikel terverifikasi tentang Teknologi, produk, dan perkembangan industri.
Kuantisasi dan distilasi adalah dua pendekatan teknis paling utama untuk mengecilkan dan mempercepat model besar, memungkinkan penerapan pada perangkat keras dengan sumber daya terbatas.
Model AI utama kini menawarkan jendela konteks sejuta token, namun akurasi dan biaya masih menjadi tantangan besar.
MiniMax-01, yang dirilis tahun lalu, menampilkan Lightning Attention, varian atensi linier yang menurunkan kompleksitas komputasi dari O(n²) menjadi mendekati O(n), memberikan peningkatan kecepatan beberapa kali lipat dalam skenario konteks panjang sambil mempertahankan akurasi yang kompetitif.
DeepSeek telah mencapai efisiensi biaya yang legendaris dalam melatih model AI besar, dengan V3 menelan biaya sekitar $5,5 juta dan biaya GPU R1 sekitar $294.000, sementara perusahaan AS menghabiskan $100 juta hingga $1 miliar untuk model dengan skala serupa.