4 artigos verificados sobre MoE, produtos e movimentos do setor.
A Meta lançou o Llama 4, a primeira versão da série a usar arquitetura MoE, com dois modelos: Scout e Maverick. Ambos são multimodalidade nativa e superam GPT-4o e Gemini 2.0 em várias tarefas.
A Moonshot AI lançou como código aberto o Kimi K2, um modelo MoE com 1 trilhão de parâmetros que ativa apenas 32B parâmetros por token, liderando em benchmarks de programação e capacidades de agente.
DeepSeek V3.1 é o primeiro modelo híbrido da empresa, combinando as capacidades do V3 (geral) e do R1 (raciocínio) em um único modelo, com modos Think e Non-Think alternáveis.
DeepSeek V3 usa arquitetura MoE com 671B parâmetros, ativando apenas 37B por token, alcançando desempenho equivalente ao GPT-4o com custo de treinamento de apenas US$ 5,5 milhões.