Mistrals Billionen-Parameter-Modell Mistral Large 4 gibt es jetzt mit offenen Gewichten. Hugging Face stellte es am 29. Oktober in einem Beitrag vor: Das Modell ist in den Präzisionen FP8 und NVFP4 verfügbar, läuft noch am selben Tag mit Transformers, vLLM und llama.cpp, und auch Unsloth hat zeitgleich GGUF-Quantisierungen veröffentlicht. Mistral hatte bei der Research-Preview am 6. Oktober zugesagt, das Modell Ende des Monats als Open Source freizugeben – das Versprechen ist damit eingelöst.
Architektur und Lizenz
Das Repository heißt Mistral-Large-4-1T-A52B. Laut Hugging Face besteht das Modell aus 72 Schichten und nutzt eine Mixture-of-Experts-Architektur (MoE) mit 128 Experten; jedes Token durchläuft 4 geroutete Experten und 1 gemeinsamen Experten. Für die Attention kommen Multi-Head Latent Attention (MLA) und ein sparsamer Index zum Einsatz, wobei jede Anfrage höchstens 2048 Schlüsselpositionen berücksichtigt. Die Bildseite übernimmt ein Pixtral-Encoder mit 1,6B Parametern; das Modell nimmt Text und Bilder entgegen und gibt Text aus.
Bei den aktiven Parametern gibt es derzeit zwei Angaben: Der Blogtext spricht von rund 49 Milliarden, der Repository-Name von 52 Milliarden – maßgeblich sind spätere Erläuterungen von Mistral. Das Kontextfenster wird mit 1 Million Token angegeben, die tatsächlichen Deployment-Konfigurationen liegen aber niedriger: Die Beispiele für vLLM und Inference Endpoints sind auf 131K eingestellt, die 2-Bit-Quantisierung für llama.cpp kommt auf 800.000.
Die Lizenz heißt Mistral Ecosystem Open-Weight License, ist eine Abwandlung der MIT-Lizenz und schränkt ein, das Modell direkt als Model-as-a-Service zu verkaufen. Eigene Nutzung, Fine-Tuning und private Bereitstellung bleiben davon unberührt; Cloud-Anbieter, die damit eine API weiterverkaufen wollen, sollten die Bedingungen vorher genau prüfen.
Starke Werte bei Sicherheit und Programmierung
Unter den von Hugging Face aufgeführten Ergebnissen sticht der Sicherheitsbereich hervor: 93 % bei den 40 Security-Wettbewerbsaufgaben von Cybench, 82 % bei Schwachstellen-Reproduktion und -Behebung, 93,3 % bei der Angriffsresistenz im Lakera B3, und im Cybersecurity-Index von Artificial Analysis landet das Modell unter den weltweit besten fünf. Bei Coding-Agenten erreicht es 61,7 % in DeepSWE v1.1, 59,4 % in SWE-Atlas-QnA und 28,3 % in Terminal-Bench 4. Im Gesamtindex für Intelligenz liegt es unter den Open-Weight-Modellen auf Platz fünf.
„Mistral Large 4 is particularly strong for cybersecurity, coding agents, and multimodality.“
(Mistral Large 4 ist besonders stark bei Cybersicherheit, Coding-Agenten und Multimodalität.)
Das sind durchweg Angaben des Herstellers und seiner Partner; wie viel davon die Community mit den Gewichten tatsächlich reproduzieren kann, wird sich erst noch zeigen.
Von Large 3 zu offenen Gewichten
Betrachtet man Mistrals Modellreihe im Zusammenhang, hat sich einiges getan. Nach den Zahlen, die Artificial Analysis zum Start der Vorabversion nannte, erreichte Large 3 im Intelligenzindex nur 9 Punkte, die Preview von Large 4 dagegen 38 Punkte. In der Preview-Phase war das Modell ausschließlich über Mistrals eigene API verfügbar, vorrangig für Entwickler, Sicherheitsverantwortliche und Behörden; damals räumte Mistral auch ein, bei Aufgaben wie Programmierung hinter den führenden geschlossenen Modellen zurückzuliegen. Die diesmal veröffentlichten 28,3 % bei Terminal-Bench 4 liegen deutlich unter den über 90 % im Sicherheitsbereich und passen ziemlich gut zu dieser Selbsteinschätzung.
Mit den freigegebenen Gewichten gibt es plötzlich deutlich mehr Betriebsvarianten. Hugging Face Inference Endpoints nutzt 8 H200-GPUs, das Beispiel im Dell Enterprise Hub 4 B300-GPUs, und das TRL-Fine-Tuning-Beispiel braucht einen Knoten mit 8 B300-Karten. Die 2-Bit-Quantisierung von llama.cpp passt in einen Apple-Silicon-Ultra-Rechner mit 512 GB Unified Memory; die übrigen Quantisierungen müssen verteilt auf mehreren GPUs laufen und wurden offiziell auf 4 RTX 6000 Pro getestet.
Bei der Berichterstattung über die Vorabversion hatten wir geschätzt, dass allein das Speichern der Gewichte bei 8-Bit-Genauigkeit rund 1 TB Grafikspeicher erfordert. NVFP4 und die 2-Bit-Variante senken diese Hürde nun, doch für die meisten Teams bleibt ein Blackwell-Server mit 8 GPUs die Einstiegskonfiguration. Zur offiziellen Preisgestaltung der Mistral-API enthält die Vorstellung diesmal keine Angaben.
Quellen: offizieller Hugging-Face-Blog, vLLM-Blog, CocoLoop, Artificial Analysis; Architekturparameter, Kontextlänge und Lizenzname wurden anhand der Hugging-Face-Modellkarte geprüft.