Am 5. April letzten Jahres veröffentlichte Meta Llama 4 – die erste Llama-Serie, die eine MoE-Architektur verwendet. Gleichzeitig wurden zwei Modelle vorgestellt:
Llama 4 Scout
- Aktivierte Parameter: 17B / Gesamtparameter ca. 109B
- Anzahl der Experten: 16
- Kontextfenster: 10 Millionen Token
Ja, zehn Millionen Token Kontext. Diese Zahl stellte damals einen neuen Rekord bei Open-Source-Modellen auf.
Llama 4 Maverick
- Aktivierte Parameter: 17B / Gesamtparameter ca. 400B
- Anzahl der Experten: 128
- Kontextfenster: 1 Million Token
128 Experten, MoE- und Dense-Layer wechseln sich ab – die Experten sind nur in der Hälfte der Layer an der Berechnung beteiligt.
Native Multimodalität
Beide Modelle erreichen native Multimodalität durch Early Fusion – Text und Bilder werden nicht über externe Adapter verbunden, sondern innerhalb des Modells nativ fusioniert verarbeitet. Die Trainingsdaten umfassen über 30 Billionen Token in mehr als 200 Sprachen.
Leistungsniveau
Maverick übertrifft GPT-4o und Gemini 2.0 in den Bereichen Programmierung, logisches Denken, Mehrsprachigkeit, lange Kontexte und Bildverständnis und kann es auch mit dem deutlich größeren DeepSeek V3.1 aufnehmen.
Scout ist auf die breite Masse ausgerichtet – es unterstützt 4-Bit- und 8-Bit-Quantisierung und läuft auf einer einzigen GPU.
Es gibt auch Llama 4 Behemoth (288B aktivierte Parameter), das angekündigt, aber nicht als Open Source veröffentlicht wurde – es befand sich damals noch im Training.
Ein Detail: Meta selbst bezeichnet dies als "Open-Weight" und nicht als "Open-Source". Die Modellgewichte sind öffentlich und können feinabgestimmt werden, aber der vollständige Trainingscode und die Datensätze wurden nicht veröffentlicht.
Quellenangabe: CocoLoop, offizieller Blog von Meta AI