Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab vom MIT CSAIL haben am 2. November den technischen Blogbeitrag „Sparks of Weight-Space Programming“ veröffentlicht. Darin liest und verändert OpenAIs GPT-6 Astra die Gewichte eines neuronalen Netzes direkt, ohne Optimierer und ohne Gradientenabstieg. Die Autoren nennen diesen Ansatz „Weight-Space Programming“.
Am meisten Aufmerksamkeit erhält ein Ergebnis mit Qwen3.5-0.8B, dem quelloffenen Modell von Alibaba. Das kleine Modell hat 24 Schichten und rund 800 Millionen Gewichte. Astra zog in den MLPs der Schichten 15 und 19 jeweils eine „Schleifenrichtung“ ab und änderte so insgesamt 131.072 Gewichte, also 0,016 Prozent des Gesamtbestands, ganz ohne erneutes Training.
Bislang liegt das Material nur als Blogbeitrag vor, ohne Peer-Review; die Autoren selbst bezeichnen die Resultate als sehr früh.
Acht Experimente: Lesen, Reparieren, Schreiben mit Erfolgen und Fehlschlägen
Die Autoren teilen die Aufgaben in drei Kategorien ein.
Gewichte lesen. Allein anhand der Gewichte eines PPO-Policy-Netzes erriet Astra, um welches von vier Gitterspielen es sich jeweils handelt; aus den Gewichten dreier DDPM-Modelle schloss es, dass sie Kreise, Dreiecke und Quadrate erzeugen, zeichnete ausgefüllte Formen allerdings als hohle Umrisse. Bei einem zeichenbasierten Transformer mit 7,16 Millionen Parametern erkannte es allein anhand der vier mittleren Schichten die Trainingskorpora aller drei Modelle und fand sämtliche Kopierköpfe.
Gewichte reparieren. In der Umgebung Kinetix gibt es eine Policy für ein Fahrzeug, das einen Hang hinauffahren soll; sie scheiterte zunächst in allen 256 Durchläufen. Nachdem Astra 3,5 Prozent der Gewichte geändert hatte, bestanden alle 1.024 Durchläufe.
Gewichte von Grund auf schreiben. Bei drei MinAtar-Spielen sollte Astra ohne Daten, ohne Gradienten und ohne Werkzeuge in einem Zug ein kleines Netz schreiben. Der Vergleich mit PPO:
| Spiel | PPO 100 Mio. Schritte | PPO 500 Mio. Schritte | Astra, einmal geschrieben |
|---|---|---|---|
| Breakout | 15,8 | 25,3 | 517,4 |
| Seaquest | 5,6 | 88,9 | 53,1 |
| Asterix | 25,8 | 55,2 | 53,2 |
Alle drei Spiele übertrafen PPO nach 100 Millionen Schritten; gegen PPO nach 500 Millionen Schritten liegt nur noch Breakout vorn.
Auch Fehlschläge stehen im Blog. Bei der Frage, welches von zwei Gemma-3-270M-Modellen auf „Schmeichelei“ feingetunt worden war, scheiterte Astra in vier Versuchen allein anhand der Gewichte; erst als es auch Aufmerksamkeitsmuster einsehen durfte, wurden alle drei Gruppen richtig zugeordnet.
Wie viel vom Sechsfachen ist bloß „Schleifen reparieren“?
Die Ausgangslage bei Qwen ist ungewöhnlich: 93 Prozent der Antworten stießen ans Token-Limit, das Modell drehte sich beim Schlussfolgern im Kreis, und die Antwort wurde gar nicht erst fertig geschrieben. Mit einem Budget von 50 Vorwärtsdurchläufen für Astra ergaben sich diese Zahlen:
| Kennzahl | Originalmodell | Nach der Bearbeitung |
|---|---|---|
| MATH-500 | 7,9 % | 48,1 % |
| GSM8K | 13,8 % | 67,1 % |
| IFEval | 21,0 % | 62,3 % |
| Token-Limit erreicht | 93,0 % | 33,1 % |
Aussagekräftiger ist die Kontrollgruppe. Bei Gemma 3 270M erreichten nur 8,5 Prozent der Antworten das Limit, der Ausgangswert lag bei 6,8. Mit 5, 10, 25 und 50 Vorwärtsdurchläufen für Astra betrugen die Werte 7,0, 7,6, 7,7 und 7,0, also praktisch keine Veränderung. Die Autoren räumen selbst ein, dass der Gewinn vor allem aus der Behebung der Schleifen stammt; eine Bearbeitung kann einem Modell keine Fähigkeiten geben, die es ursprünglich nicht hat.
Hier setzt die externe Kritik an. Der AI-News-Digest von Latent Space fasst die Diskussion in der Community zusammen: Manche Kommentatoren halten die Basislinie von 7,9 Prozent für ungewöhnlich niedrig, die Bearbeitung ähnele eher der Ein-Richtungs-Ablation von Arditi und Kollegen, und da Astra seine Analysen in einer Python-Sandbox ausführe, sei die Rede vom „nativen Lesen und Schreiben von Gewichten“ etwas übertrieben. Latent Space selbst versah die Formulierung „50 Schritte“ mit einem Hinweis auf mögliche Übertreibung. Diese Kritik stammt bislang überwiegend aus Diskussionsforen; eine systematische Reproduktion durch Dritte ist noch nicht zu sehen.
"exciting but still limited"
(spannend, aber noch begrenzt.)
So bewerten die Autoren die Fähigkeit; die Grenzen liegen in der Kontextlänge und der Effizienz des Ausführungsrahmens.
Einordnung in die Linie der Selbstverbesserung
Im vergangenen Monat testete Epoch AIs InnovationEval eine andere Richtung: Spitzenmodelle sollten in einer Sandbox ohne Netzzugang selbst Post-Training-Methoden ersinnen; das beste Ergebnis erreichte nur 15 Prozent der Verbesserung der Vergleichsarbeit. Dieser Weg führt über Ideenfindung, Programmieren und Trainingsläufe.
Weight-Space Programming überspringt den Trainingsschritt und wird deshalb von manchen in die Debatte um rekursive Selbstverbesserung eingebracht. Beide Ansätze nebeneinander betrachtet, ist der derzeit gesicherte Rahmen eng: Modelle können in kleinen, klar fehlerhaften Netzen reparierbare Stellen finden; für große Modelle und solche ohne offensichtliche Defekte gibt es vorerst keine Belege. Audits, Anpassungen ohne Daten und Modell-Merging bleiben im Blog Ausblick, ohne Experimente als Stütze.
Als Nächstes lohnt der Blick auf Reproduktionen: ein kleines Modell ohne Schleifenproblem oder eine Mathe-Aufgabe mit normaler Basislinie, um zu sehen, ob Astra die Werte noch anheben kann.
Quellen: technischer Blog der MIT-CSAIL-Autoren, Machine Heart (Jiqizhixin), CocoLoop, Latent Space AI News; die Werte zu Qwen und Gemma richten sich nach den von den Autoren veröffentlichten Versuchstabellen, die InnovationEval-Ergebnisse nach dem Bericht von Epoch AI.