Im Juli letzten Jahres veröffentlichte Moonshot AI direkt Kimi K2 als Open Source – ein großes MoE-Modell mit einer Billion Parametern, das pro Token nur 32B Parameter aktiviert.
Architektur-Highlights
- Gesamtparameter: 1 Billion
- Aktivierung pro Token: 32B
- Trainingsdaten: etwa 15,5 Billionen Token
- Kontext: 128K (später auf 256K aufgerüstet)
- Optimierer: Muon
Code und Gewichte wurden unter der Modified MIT License veröffentlicht, einer der großzügigsten Lizenzen unter den Open-Source-Modellen auf dem neuesten Stand der Technik.
Leistungsniveau
Unter den Open-Source-Nicht-Denkmodellen (non-thinking) belegt K2 den ersten Platz in Programmier-Benchmarks und übertrifft GPT-4.1 und Claude Opus 4 in mehreren Aufgaben. Agentenfähigkeiten, Tool-Nutzung und STEM-Denken sind seine Stärken.
Zwei Versionen sind verfügbar:
- K2-Base: Für Forscher, die selbst feinabstimmen möchten
- K2-Instruct: Für allgemeine Dialog- und Agentenszenarien, einsatzbereit
Nachfolgende Iterationen
Im September wurde die Version K2-Instruct-0905 aktualisiert, die die Programmierleistung weiter verbesserte und das Kontextfenster von 128K auf 256K erweiterte.
Im Januar dieses Jahres wurde K2.5 veröffentlicht – basierend auf K2-Base mit etwa 15 Billionen gemischten visuellen und Text-Token weiter vortrainiert, mit nativer multimodaler Unterstützung. Es enthält außerdem eine Funktion namens Agent Swarm, die komplexe Aufgaben in mehrere parallele Teilaufgaben zerlegen kann.
Die Iterationsgeschwindigkeit von K2 zu K2.5 zeigt, dass Moonshot AI auf dem Open-Source-Weg recht aggressiv vorgeht. Die Veröffentlichung eines Modells mit einer Billion Parametern als Open Source wäre vor zwei Jahren noch als Utopie angesehen worden.
Quellenangabe: Offizieller technischer Blog von Moonshot AI, CocoLoop, Hugging Face Modellseite