Meta mở trọng số Muse Spark Open 816 tỷ tham số
Meta công bố trọng số Muse Spark Open với 816 tỷ tham số, 42 tỷ tham số kích hoạt mỗi token, cửa sổ ngữ cảnh 1 triệu token, tập trung vào lập trình và tác tử AI.
Tin tức và phân tích Kiến trúc MoE
6 bài đã kiểm chứng về Kiến trúc MoE, sản phẩm và diễn biến ngành.
StepFun mở mã nguồn Step 5, mô hình 600B chạy được trên 8 GPU
StepFun đã đưa trọng số Step 5 Preview lên Hugging Face đúng hẹn: MoE khoảng 600 tỷ tham số, bản FP8 chạy được trên một máy chủ 8 GPU H200.
StepFun ra mắt Step 5 Preview, tự nhận chi phí chỉ bằng 1/8 Opus 5
StepFun ra mắt Step 5 Preview, mô hình MoE 600 tỷ tham số đứng thứ ba bảng mã nguồn mở, tự nhận chi phí bằng 1/8 Opus 5 dù chưa công bố căn cứ tính toán.
Kimi K2.6 đạt vị trí số 1 mã nguồn mở trên bảng xếp hạng HLE
Moonshot AI đã phát hành phiên bản đầy đủ của mô hình Kimi K2.6, đạt điểm 54.0 trên HLE-Full, vượt qua Claude Opus 4.6 và GPT-5.4 để giành vị trí dẫn đầu trong số các mô hình mã nguồn mở. Mô hình 1 nghìn tỷ tham số này sử dụng kiến trúc MoE, chỉ kích hoạt 32 tỷ tham số mỗi lần suy luận, đồng thời hỗ trợ tới 300 tác nhân chạy song song.
NVIDIA phát hành mã nguồn mở toàn bộ dòng Nemotron 3 cùng dữ liệu huấn luyện
NVIDIA công bố mã nguồn mở toàn bộ dòng mô hình Nemotron 3, bao gồm trọng số, bộ dữ liệu tiền huấn luyện 3 nghìn tỷ token, quy trình học tăng cường và công cụ đánh giá, đánh dấu bước đi chiến lược nhằm khẳng định vị thế trong hệ sinh thái AI nguồn mở.
Mistral công bố mô hình MoE mã nguồn mở, 119B chỉ kích hoạt 6,5B
Mistral ra mắt Small 4, mô hình MoE 119B tham số nhưng chỉ kích hoạt 6,5B mỗi lần suy luận, hợp nhất ba mô hình độc lập trước đây thành một, hỗ trợ suy luận văn bản, hiểu ảnh đa phương thức, sinh mã và gọi hàm.