4 bài đã kiểm chứng về MoE, sản phẩm và diễn biến ngành.
Meta phát hành Llama 4 với kiến trúc MoE lần đầu tiên, gồm hai phiên bản Scout (17B tham số kích hoạt, 16 chuyên gia, 10 triệu token ngữ cảnh) và Maverick (17B tham số kích hoạt, 128 chuyên gia, 1 triệu token ngữ cảnh), hỗ trợ đa phương thức gốc, hiệu năng vượt GPT-4o và Gemini 2.0 ở nhiều tác vụ, với dữ liệu huấn luyện hơn 30 nghìn tỷ token và hơn 200 ngôn ngữ.
Moonshot AI đã phát hành mã nguồn mở Kimi K2, mô hình MoE với 1 nghìn tỷ tham số, chỉ kích hoạt 32B tham số cho mỗi token, vượt trội trong các benchmark lập trình và tác nhân.
DeepSeek V3.1 là mô hình lai đầu tiên của họ, tích hợp khả năng của V3 (tổng quát) và R1 (suy luận) vào một mô hình duy nhất, với hai chế độ Think và Non-think có thể chuyển đổi linh hoạt.
DeepSeek V3 sử dụng kiến trúc MoE với 671B tham số nhưng chỉ kích hoạt 37B cho mỗi token, đạt hiệu suất ngang GPT-4o với chi phí huấn luyện chỉ 5,5 triệu USD.