4 bài đã kiểm chứng về Công nghệ, sản phẩm và diễn biến ngành.
Lượng tử hóa và chưng cất là hai hướng công nghệ chính giúp thu nhỏ và tăng tốc mô hình AI lớn, với các kỹ thuật như PTQ, QAT, QAD, chưng cất kiến thức, cắt tỉa và giải mã suy luận đang được kết hợp để triển khai hiệu quả trên phần cứng hạn chế.
Hai năm trước, cửa sổ ngữ cảnh của các mô hình chủ đạo chỉ ở mức 4K đến 8K token, nhưng hiện tại mức triệu token đã trở thành tiêu chuẩn cho các mô hình hàng đầu.
MiniMax-01 sử dụng Lightning Attention, một biến thể của cơ chế chú ý tuyến tính, nhằm giảm độ phức tạp tính toán từ O(n²) xuống gần O(n), mang lại tốc độ nhanh hơn đáng kể trong các tác vụ ngữ cảnh dài.
DeepSeek đã trở thành huyền thoại trong ngành về kiểm soát chi phí, với chi phí huấn luyện V3 khoảng 5,5 triệu USD và phí GPU R1 khoảng 294.000 USD, thấp hơn nhiều so với ngân sách từ 100 triệu đến 1 tỷ USD của các công ty Mỹ.