Der Anbieter für On-Device-Modelle Edge0 hat am 12. November Edge0-145B und Edge0-120B als Open Source veröffentlicht, dazu ein einheitliches Inferenz-Framework und Werkzeuge für die Bereitstellung. Nach Firmenangaben ist 145B das erste quelloffene On-Device-Modell mit 145 Milliarden Parametern; Zielgerät ist der persönliche Laptop, ein Server wird nicht benötigt.
Zum Start werden macOS, Windows und Linux unterstützt, darunter Apples M-Chips sowie Nvidia-Plattformen wie RTX Spark, RTX 4090 und RTX 5090. Die Gewichte liegen auf Hugging Face, das Inferenz-Framework auf GitHub. Hinzu kommt eine Desktop-App ohne Konto und ohne Kontingentgrenze, deren Kernfunktionen offline nutzbar sind.
Benchmarks gegen Cloud-Modelle der „Flash“-Klasse
Unter den von Edge0 veröffentlichten Ergebnissen erreicht das Modell bei DeepSWE 1.1 einen Wert von 64,6, Qwen3.8-Flash-Next kommt auf 58,7 und DeepSeek-V4-Flash-0731 auf 54,4. Bei Terminal-Bench 2.1 sind es 86,52 und damit mehr als die 83,3 und 82,7 der beiden Konkurrenten. GPQA-Diamond liegt bei 90,4, knapp unter den 90,8 von DeepSeek-V4-Flash-0731; HLE liegt bei 35,4, ebenfalls knapp unter den 35,9 von Qwen3.8-Flash-Next.
Diese Werte stehen unter einem Vorbehalt: Die Ergebnisse von Edge0, Qwen, DeepSeek und Claude stammen allesamt aus Edge0-internen Tests; die vollständige Testumgebung und Hinweise zur Reproduktion sollen zusammen mit dem technischen Bericht erscheinen. Das in der Vergleichstabelle geführte Claude ist Opus 4.6 (Max) – eine ältere Generation, die aktuellen Flaggschiffe sind längst weiter. Bis unabhängige Nachtests vorliegen, ist die Tabelle als reine Herstellerangabe zu verstehen.
Gegenüber dem eigenen früheren Smartphone-Modell ist der Sprung gewaltig. Das im September vorgestellte Edge0-35B belegt auf dem iPhone 18 Pro Max rund 2,5 GB Speicher und schafft mehr als 37 Token pro Sekunde; 145B hat etwa die vierfache Parameterzahl und läuft auf dem Laptop. Apples On-Device-Basismodell hat rund 3B Parameter, Googles Gemini Nano gibt es in zwei Varianten mit 1,8B und 3,25B. Edge0 führt diese beiden Zahlen an, um zu zeigen, dass On-Device-Modelle bisher meist unter 10B lagen.
Wie 145 Milliarden Parameter in 29 GB passen
Eine Überschlagsrechnung: Bei üblicher 4-Bit-Quantisierung benötigen 145B Parameter allein für die Gewichte rund 72 GB und damit weit mehr als 29 GB. Edges Lösung besteht aus vier Ebenen.
In der Architektur teilen sich die Experten große Matrizen. Je 64 Experten nutzen gemeinsam zwei große Matrizensätze, jeder Experte behält nur einen kleinen Parametersatz für seine Abweichungen. So sinkt die Menge der gespeicherten und bewegten Gewichte, die Zahl der Experten bleibt gleich. Pro Inferenzschritt werden nur rund 10B Parameter aktiviert.
Das Training folgt von Anfang an der On-Device-Struktur. Das Modell wurde von Beginn an auf einer On-Device-Architektur trainiert, nicht nach dem Muster „erst ein großes Cloud-Modell trainieren, dann komprimieren und beschneiden“.
Das Laden läuft als dreistufige Speicher-Pipeline. Häufig genutzte „heiße Experten“ bleiben im Grafikspeicher, ein Expertenpool von etwa 40 GB liegt im Arbeitsspeicher und wird bei Bedarf in den Grafikspeicher geholt, rund 48 GB an Vokabeldaten liegen auf der SSD und werden bei Bedarf gelesen. Lesen und Rechnen überlappen sich, damit nichts seriell wartet.
Bei der Ablaufsteuerung arbeiten CPU und GPU zusammen. Die GPU berechnet die zwischengespeicherten Experten, die CPU parallel den Rest. Hinzu kommt spekulatives Decodieren, das mehrere Kandidaten-Token auf einmal prüft und so den Aufwand für das Lesen der Gewichte auf mehr Ausgabe verteilt.
Eine Stelle lässt der Blogbeitrag offen: Wie sich der Spitzenspeicher von 29 GB mit dem im Arbeitsspeicher liegenden Expertenpool von rund 40 GB verträgt und ob nur der Grafikspeicher gezählt wurde, wird nicht erklärt. In Edge0s eigener Vergleichsgrafik ist ein Laptop mit 48 GB angegeben; wer das Modell lokal betreiben will, plant daher sicherer mit 48 GB Unified Memory.
Demos und Angaben der Firma
Edge0 zeigte mehrere lokale Agent-Demos: ein Erklärvideo innerhalb einer Stunde, eine Manhattan-Stadtszene in Blender, ein Drohnenprogramm, das Hindernisse umfliegt und einen roten Rucksack findet, sowie ein Projekt vom Platinenlayout in KiCad bis zur Montageanimation in UE5. Das sind interne Tests der Firma; auch die eingesparte Arbeitszeit und die Cloud-Token-Kosten sind eigene Umrechnungen des Unternehmens.
Außerdem gibt die Firma an, ihre vier Produktreihen hätten binnen eines Jahres 200 Modelle veröffentlicht, die Open-Source-Modelle seien in drei Monaten über 15 Millionen Mal heruntergeladen worden, und bis Oktober habe es mehr als 110.000 Kundenorganisationen gegeben. Diese Größenangaben stammen bislang allein vom Unternehmen und lassen sich nicht überprüfen.
Quellen: offizieller Edge0-Blog, Modellseite auf Hugging Face, CocoLoop, Beschreibung des Edge0-Inferenz-Frameworks auf GitHub; alle Benchmarkwerte stammen aus Edge0-internen Tests, die 29 GB sind der vom Hersteller gemessene Spitzenspeicher.