Meta gibt Muse Spark Open mit 816 Mrd. Parametern frei
Meta veröffentlicht die Gewichte von Muse Spark Open: 816 Milliarden Parameter, 42 Milliarden aktiv pro Token, 1 Million Token Kontext, Fokus auf Programmierung und Agenten.
MoE-Architektur: News und Analysen
6 geprüfte Beiträge zu MoE-Architektur, Produkten und Branchenentwicklungen.
StepFun veröffentlicht Step 5 als Open Weights: 600B-Modell läuft auf 8 GPUs
StepFun hat die Gewichte von Step 5 Preview wie angekündigt auf Hugging Face veröffentlicht: MoE mit rund 600 Mrd. Parametern, FP8-Variante auf einem 8-GPU-H200-Server lauffähig.
StepFun bringt Step 5 Preview: Kosten angeblich nur ein Achtel von Opus 5
StepFun stellt das MoE-Modell Step 5 Preview mit 600 Milliarden Parametern vor, Platz drei unter Open-Source-Modellen, und nennt Kosten von nur einem Achtel von Opus 5.
Kimi K2.6 erzielt Open-Source-Spitzenplatz in HLE-Rangliste
Moonshot AI hat die Vollversion des Kimi K2.6-Modells veröffentlicht, das im HLE-Full-Benchmark 54,0 Punkte erreicht und damit Claude Opus 4.6 sowie GPT-5.4 übertrifft. Das 1-Billion-Parameter-Modell nutzt eine MoE-Architektur, aktiviert pro Inferenz nur 32 Milliarden Parameter und unterstützt bis zu 300 parallele Agenten.
NVIDIA veröffentlicht Nemotron 3 komplett als Open Source inklusive Trainingsdaten
NVIDIA hat die gesamte Nemotron-3-Modellfamilie als Open Source veröffentlicht – einschließlich Gewichten, einem 3-Billionen-Token-Vortrainingsdatensatz, Reinforcement-Learning-Pipelines und Evaluierungstools – und signalisiert damit einen strategischen Vorstoß in das Open-Source-KI-Ökosystem.
Mistral veröffentlicht Open-Source-MoE-Modell: 119B, aber nur 6,5B aktiviert
Mistral hat Small 4 vorgestellt, ein MoE-Modell mit 119B Parametern, das pro Inferenz nur 6,5B aktiviert. Es vereint drei bisher eigenständige Modelle in einem und unterstützt Textlogik, Bildverständnis, Codegenerierung und Funktionsaufrufe.