4 articles vérifiés sur MoE, les produits et le secteur.
Meta a publié Llama 4, la première version de la série à utiliser l'architecture MoE, avec deux modèles : Scout et Maverick. Tous deux offrent une multimodalité native et surpassent GPT-4o et Gemini 2.0 dans plusieurs domaines.
Moonshot AI a publié en open source Kimi K2, un modèle MoE de 1 000 milliards de paramètres n'activant que 32B paramètres par token, leader dans les benchmarks de programmation et les capacités d'agent.
DeepSeek V3.1 est le premier modèle hybride de l'entreprise, combinant les capacités de V3 (général) et R1 (raisonnement) en un seul modèle, avec les modes Think et Non-Think interchangeables.
DeepSeek V3 utilise une architecture MoE avec 671B paramètres, n'en activant que 37B par token, et atteint des performances comparables à GPT-4o pour un coût d'entraînement de seulement 5,5 millions de dollars.