Das neue kleine Ling-Modell von InclusionAI lässt sich leicht als weitere Effizienzmeldung lesen. Das eigentliche Ziel ist enger: eine Laufzeitbasis für lokale Agenten.
Am 11. August hat das Ling-Team von Ant Group Ling-3.0-tiny als Open Source veröffentlicht. Jiemian meldete die Kerndaten: 7,9B Gesamtparameter, nur 1,3B aktive Parameter pro Token sowie BF16-, FP8- und INT4-Gewichte. Die Hugging-Face-Modellkarte, ModelScope und die SGLang-Dokumentation liefern die harten Deployment-Details.
“We are introducing Ling-3.0-tiny, a lightweight hybrid reasoning MoE model”
Warum ein kleines Modell über Agenten spricht
Ling-3.0-tiny nutzt einen 3:1-Wechsel aus Kimi Delta Attention und Multi-Head Latent Attention. Die sparse MoE-FFN-Schicht hat 128 Routed Experts; jedes Token aktiviert 8 Routed Experts und 1 Shared Expert.
Der technische Punkt ist klar: langer Kontext, niedriger Speicherbedarf und toolnutzende Agentenaufgaben sollen zusammenpassen. Kleine Chatmodelle sind günstig, doch lange Coding-Sitzungen, Tool-Aufrufe und mehrstufige Entscheidungen zeigen oft Grenzen bei Planung und Kontext. Ling-3.0-tiny wird für agentic workflows positioniert, nicht für Einmal-Chat.
Lokales Deployment ist die Meldung
Die Modellkarte nennt Validierungen auf NVIDIA DGX Spark, Apple Silicon MacBook und Mac mini. Mit FP8 erreicht das Modell etwa 100-105 tokens/s auf DGX Spark und 86-90 tokens/s auf einem M4 Pro MacBook, bei rund 8,34 GiB Spitzenspeicher in einem 8K-Kontext.
Diese Zahlen zeigen auf Geräte, die Entwickler bereits besitzen. Ein neueres MacBook oder eine kleine Workstation kann einen lokalen Agenten mit Reasoning und Tool-Nutzung tragen. Daten können auf dem Gerät bleiben; Kosten verschieben sich von Cloud-Token zu Hardware und Strom.
Die Grenze bleibt wichtig. Das SGLang-Rezept für niedrige Latenz mit 256K YaRN-Kontext und NEXTN-Speculative-Decoding nennt weiter eine 141GB-GPU-Klasse oder einen Single-GPU-Blackwell-Knoten. Die MacBook-Zahlen gelten für FP8, lokale Hardware und 8K-Kontext.
Benchmarks setzen den Rahmen
Die Modellkarte nennt einen Artificial Analysis Intelligence Index v4.1.1 von 25 und einen Agentic Index von 16. In diesem Test liegt die Ausgabegeschwindigkeit über 160 tokens/s; eine 500-Token-Antwort dauert inklusive Reasoning etwa 18 Sekunden end-to-end.
Das ist kein Spitzenmodellwert. Der Wert liegt in der Effizienz pro aktivem Parameter. Ling-3.0-flash schneidet auf derselben Plattform besser ab, ist aber deutlich größer. Die tiny-Version wirkt eher wie ein lokaler Ausführungskern: starten, Tools aufrufen und dauerhaft laufen.
Die nächsten Prüfpunkte sind praktisch: stabile SGLang- und vLLM-Unterstützung, INT4-Leistung auf Verbrauchergeräten und Integration in IDEs, Browser-Automatisierung und interne Unternehmenstools. Die Modellkarte zeigt den Start. Lange Aufgaben zeigen den Nutzen.
Quellen: Hugging Face Modellkarte, ModelScope, Jiemian, Artificial Analysis, CocoLoop, SGLang-Dokumentation; geprüft wurden 7,9B Gesamtparameter, 1,3B aktive Parameter, BF16/FP8/INT4-Gewichte, KDA/MLA- und 128-Expert-Architektur, lokale DGX-Spark/M4-Pro-Geschwindigkeit, 8K-Speicherumfang, Artificial-Analysis-Indizes und SGLang-256K-Deploymentumfang.