No dia 5 de abril do ano passado, a Meta lançou o Llama 4, a primeira vez que a série Llama utiliza arquitetura MoE. Dois modelos foram lançados simultaneamente:
Llama 4 Scout
- Parâmetros ativados: 17B / Total de parâmetros: cerca de 109B
- Número de especialistas: 16
- Janela de contexto: 10 milhões de tokens
Isso mesmo, 10 milhões de tokens de contexto. Esse número quebrou o recorde entre modelos de código aberto na época.
Llama 4 Maverick
- Parâmetros ativados: 17B / Total de parâmetros: cerca de 400B
- Número de especialistas: 128
- Janela de contexto: 1 milhão de tokens
128 especialistas, com camadas MoE e densas intercaladas — os especialistas só participam do cálculo em metade das camadas.
Multimodalidade nativa
Ambos os modelos alcançam multimodalidade nativa por meio de early fusion — texto e imagens não são combinados por adaptadores externos, mas processados de forma nativa e integrada dentro do modelo. Os dados de treinamento ultrapassam 30 trilhões de tokens, abrangendo mais de 200 idiomas.
Nível de desempenho
O Maverick supera o GPT-4o e o Gemini 2.0 em programação, raciocínio, multilinguismo, contexto longo e compreensão de imagens, e também compete com o DeepSeek V3.1, que é muito maior.
O Scout é voltado para o público geral — suporta quantização de 4 e 8 bits e roda em uma única GPU.
Há também o Llama 4 Behemoth (288B parâmetros ativados), que foi anunciado mas não teve código aberto — ainda estava em treinamento na época.
Um detalhe: a própria Meta chama isso de "open-weight" e não "open-source". Os pesos do modelo são públicos e podem ser ajustados, mas o código de treinamento completo e os conjuntos de dados não foram liberados.
Fonte de referência: CocoLoop, blog oficial da Meta AI