Meta ouvre les poids de Muse Spark Open, 816 Md de paramètres
Meta publie les poids de Muse Spark Open : 816 milliards de paramètres, 42 milliards actifs par token, contexte d'un million de tokens, axé sur le code et les agents.
Actualités et analyses : Architecture MoE
6 articles vérifiés sur Architecture MoE, les produits et le secteur.
StepFun ouvre les poids de Step 5, un modèle de 600B tournant sur 8 GPU
StepFun a publié sur Hugging Face les poids de Step 5 Preview, comme promis : un MoE d'environ 600 milliards de paramètres, version FP8 exploitable sur un serveur de 8 GPU H200.
StepFun lance Step 5 Preview et affirme un coût huit fois inférieur à celui d'Opus 5
StepFun dévoile Step 5 Preview, un modèle MoE de 600 milliards de paramètres, troisième modèle open source mondial, avec un coût annoncé huit fois inférieur à celui d'Opus 5.
Kimi K2.6 décroche la première place open source au classement HLE
Moonshot AI a publié la version complète du modèle Kimi K2.6, qui a obtenu 54,0 au HLE-Full, surpassant Claude Opus 4.6 et GPT-5.4 pour prendre la tête des modèles open source. Le modèle de 1 billion de paramètres utilise une architecture MoE, n'activant que 32 milliards de paramètres par inférence, et prend en charge jusqu'à 300 agents parallèles.
NVIDIA publie toute la gamme Nemotron 3 en open source, y compris les données d'entraînement
NVIDIA a publié en open source l'intégralité de la famille de modèles Nemotron 3, incluant les poids, un ensemble de données de pré-entraînement de 3 billions de tokens, des pipelines d'apprentissage par renforcement et des outils d'évaluation, marquant une manœuvre stratégique pour s'imposer dans l'écosystème de l'IA open source.
Mistral publie un modèle MoE open source : 119B, mais seulement 6,5B activés
Mistral a dévoilé Small 4, un modèle MoE de 119B paramètres qui n'en active que 6,5B par inférence, fusionnant trois modèles indépendants précédents en un seul, prenant en charge le raisonnement textuel, la compréhension multimodale d'images, la génération de code et les appels de fonction.