Kimi K3.1 Pro: Gewichte veröffentlicht, 5,6 TB groß

Open source illustration: hands joining branches to a shared node tree

Wie bei der Vorstellung am 24. Oktober zugesagt, hat Moonshot AI die Modellgewichte von Kimi K3.1 Pro auf Hugging Face veröffentlicht; ITHome berichtete am 5. November darüber. Das Modell hat insgesamt 2,8 Billionen Parameter, pro Inferenzschritt werden rund 104 Milliarden aktiviert, das Kontextfenster umfasst etwa 1 Million Token.

Auch die Größe der Gewichtsdateien fällt ins Auge: Die BF16-Fassung wiegt etwa 5,6 TB, nach INT4-Quantisierung sind es rund 1,4 TB.

Auf die Lizenzbedingungen muss man noch warten. Nach öffentlich verfügbaren Angaben nutzte die Vorgängergeneration K3 eine modifizierte MIT-Lizenz; die Bedingungen für K3.1 Pro haben wir auf der offiziellen Seite noch nicht verifizieren können. Wer das Modell kommerziell einsetzen will, sollte sich an die LICENSE-Datei im Repository halten.

Die Rangliste wertet echte Sitzungen aus

Die zusammen mit den Gewichten zitierten Ergebnisse stammen aus der Agent-Arena-Rangliste von Arena. K3.1 Pro liegt unter den Modellen mit offenen Gewichten auf Platz eins und unter allen bewerteten Modellen auf Platz 13; in den drei Kategorien Arbeit, Programmierung und Chat ist es jeweils das beste offene Modell.

Die Rangliste arbeitet nicht mit paarweisen Blindabstimmungen. Sie gewinnt Signale aus realen Agentensitzungen, etwa Aufgabenbestätigungen, Lob und Beschwerden, Korrekturen durch Nutzer und Shell-Fehler, und schätzt daraus mit einem randomisierten Schlussverfahren namens „Kausalverfolgung“ eine Netto-Verbesserungsrate. Die aktuelle Auswertung umfasst mehr als 17.500 Sitzungen mit langfristigen Aufgaben.

KennzahlK3K3.1 Pro
Netto-Verbesserungsrate+0,9 %+5,1 %
Bash-Zuverlässigkeit-4,5 %+7,9 %
Lob gegenüber Beschwerden+1,3 %+7,7 %

Die Bash-Zuverlässigkeit ist von negativ auf positiv gedreht und führt zudem unter den offenen Modellen. Das wirkt sich am unmittelbarsten auf alle aus, die lange Aufgaben laufen lassen: Einem Agenten, dessen Befehle ständig fehlschlagen, überlässt man ungern die Arbeit. Die Erfolgsquote bei Aufgabenbestätigungen liegt bei +3,9 % und damit unter den offenen Modellen auf Platz vier – das Modell liegt also nicht in jeder Disziplin vorn.

Der Vergleich mit zwei geschlossenen Flaggschiffen

Die von Moonshot AI veröffentlichte Vergleichstabelle enthält Dutzende Benchmarks, darunter interne Tests; nachfolgend sind nur die öffentlichen Benchmarks aufgeführt.

BenchmarkK3.1 ProGPT-6 AstraOpus 5.5
Terminal-Bench 4.065,758,266,4
SWE Marathon v1.151,742,546,3
Frontier Finance58,645,056,7
HLE-Full (mit Werkzeugen)70,057,267,7
Program Bench31,550,065,0
Terminal-Bench-Science 0.138,168,163,3
HLE-Diamond39,465,860,9
ExploitBench74,710091,0

Vorn liegt das Modell meist bei Aufgaben mit Werkzeugeinsatz und langen Abläufen; zurück fällt es bei wissenschaftlichen Aufgaben, anspruchsvollem Schlussfolgern und Cyber-Angriff und -Verteidigung. Im Terminal-Bench 4.0 trennen K3.1 Pro nur 0,7 Punkte von Opus 5.5, im Science-Zweig desselben Benchmarks wächst der Abstand auf mehr als 25 Punkte. Die Tabelle stammt vom Hersteller, einige Werte wurden noch nicht von Dritten reproduziert.

Die Kategorie Angriff und Verteidigung lohnt einen gesonderten Blick. Offene Gewichte lassen sich nach dem Download nicht zurückholen; mit 74,7 Punkten im ExploitBench und 20,7 Punkten im ExploitGym liegt das Modell noch hinter den geschlossenen Flaggschiffen. Für die Sicherheitsdebatte über offene Veröffentlichungen sind diese beiden Werte ein Anhaltspunkt.

Herunterladen und Betreiben sind zweierlei

ITHome weist in seinem Bericht eigens darauf hin, dass zwischen „herunterladbar“ und „lokal lauffähig“ eine große Lücke klafft; auf handelsüblichen Consumer-Grafikkarten lässt sich das Modell praktisch nicht betreiben.

Eine grobe Rechnung: Die INT4-Fassung mit 1,4 TB komplett in den Grafikspeicher zu laden, erfordert bei 80 GB pro Karte etwa 18 Rechenzentrums-GPUs, und der Speicher für den Kontext-Cache ist dabei noch nicht eingerechnet. Die MoE-Architektur aktiviert zwar pro Schritt nur rund 104 Milliarden Parameter, und einige Full-Attention-Schichten wurden durch Gated Sparse Attention ersetzt, um den Aufwand bei langem Kontext zu senken – doch die Gewichte brauchen trotzdem Platz.

Für die meisten Teams in China liegt der unmittelbare Nutzen der Veröffentlichung daher bei einigen Cloud-Anbietern und Inferenzdienstleistern: Sie können das Modell selbst betreiben und selbst bepreisen. Normale Entwickler werden eher merken, dass es mehr Zugangswege zum Aufrufen gibt. Ob die Preise dadurch sinken, lässt sich erst vergleichen, wenn Versionen von Drittanbietern online sind.

Quellen: ITHome, CocoLoop, Agent-Arena-Rangliste von Arena; die Benchmark-Werte stammen aus der von Moonshot AI veröffentlichten Vergleichstabelle, der Grafikspeicherbedarf ist eine eigene Schätzung.