4 geprüfte Beiträge zu MoE, Produkten und Branchenentwicklungen.
Meta hat Llama 4 veröffentlicht, das erste Modell der Llama-Reihe mit MoE-Architektur. Die beiden Varianten Scout und Maverick bieten native Multimodalität und übertreffen GPT-4o und Gemini 2.0 in mehreren Disziplinen.
Moonshot AI hat Kimi K2 als Open Source veröffentlicht, ein MoE-Modell mit einer Billion Parametern, das nur 32B Parameter pro Token aktiviert und in Programmier-Benchmarks sowie Agentenaufgaben führend ist.
DeepSeek V3.1 ist das erste Hybridmodell des Unternehmens, das die Fähigkeiten von V3 (allgemein) und R1 (Reasoning) in einem Modell vereint und mit den Modi Think und Non-Think flexibel umschaltbar ist.
DeepSeek V3 nutzt eine MoE-Architektur mit 671B Parametern, aktiviert aber nur 37B pro Token und erreicht GPT-4o-Niveau bei Trainingskosten von nur 5,5 Millionen US-Dollar.