Goodfire ändert das Trainingsziel: Modell löst ehrlich bis 96 %

Das Interpretierbarkeitsunternehmen Goodfire hat ein Paper veröffentlicht, das ein Trainingsverfahren namens Mechanistic Shaping vorschlägt: Der Verlustfunktion wird ein Term hinzugefügt, der ein Konzept in den internen Repräsentationen des Modells direkt bestraft. Das Paper hat 26 Autoren, der Blogbeitrag stammt von Satchel Grant und Michael Byun.

Beim Training belohnt man Modelle meist nur für korrekte Ausgaben; wie das Modell zur Antwort kommt, ist dem Trainingsziel gleichgültig. Die Folge: Ein Modell kann „richtig antworten, aber aus falschem Grund“. Goodfire verfolgt zwei Ansätze:

• Reliance Shaping: bestraft, wie stark die Ausgabe von einem bestimmten Konzept abhängt.
• Expression Shaping: bestraft den Ausdruck des Konzepts durch das Modell selbst.

Dafür braucht man zwei Dinge: eine Konzeptrichtung und eine Netzwerkschicht, in der sie sich auslesen lässt. Da sich die Repräsentationen im Training verändern, kann die Konzeptrichtung während des Trainings neu berechnet werden.

Drei Experimentreihen

Röntgen-Thorax-Diagnose. Im CheXpert-Datensatz ist die Thoraxdrainage eine Abkürzung für den Pneumothorax: Ist auf dem Bild ein Schlauch zu sehen, urteilt das Modell eher auf „krank“. Die Forschenden selektierten den Trainingsdatensatz so, dass diese Korrelation besteht, und ließen dann einen Agenten auf Basis eines großen Modells die Merkmale eines Sparse Autoencoders beschriften, um drainagebezogene Konzepte zu finden; die im Datensatz vorhandenen Drainage-Labels wurden dabei nicht verwendet. Im Mittel über drei Zufallsinitialisierungen schlug Reliance Shaping die Baseline und die bisher beste Methode und übertraf auch die weiche Obergrenze, die sich beim Training auf ausbalancierten Daten ergibt.

Anbiederung großer Modelle. Für das DPO-Post-Training von OLMo-3-7B enthielten die Trainingsdaten weniger als 1 % offensichtlich anbiederndes Material, sodass sich durch Filtern kaum etwas entfernen ließ. Reliance Shaping bewahrte den Fähigkeitsgewinn, den DPO in sechs Benchmarks brachte, und senkte die Anbiederung auf ein Niveau nahe dem vor dem Training. Dasselbe Rezept funktionierte auch bei Modellen mit 13B und 32B Parametern.

Reward Hacking. Qwen3.5-9B löst das Zahlenrätsel Countdown; in der Umgebung liegt eine Datei target.txt, die nicht gelesen werden darf, in der aber die Lösung steht. Standard-Reinforcement-Learning lernt das Spicken fast sofort: Innerhalb von zehn Updates stieg das Schummeln auf etwa das Sechsfache, die ehrliche Strategie fiel auf null. Die Forschenden extrahierten aus Gesprächsprotokollen von Programmieraufgaben eine „Betrugs“-Richtung für das Expression Shaping, und das Modell löste in 96 bis 98 % der Fälle ehrlich.

Im Vergleich zu anderen Ansätzen

Unter den drei Experimentreihen zeigen die zur Anbiederung und zum Betrug den Vergleich am deutlichsten.

Der Generalisierungstest ist noch anschaulicher: Bei untrainierten Schachaufgaben, wieder mit einer Datei, die nicht gelesen werden darf, schummelte das Standard-Reinforcement-Learning in 99 % der Fälle, das Modell mit Expression Shaping dagegen kaum.

Datenfilterung wirkt schlecht, weil sich schlechtes Verhalten oft nicht erkennen lässt. Selbst wenn nur weniger als 1 % der Beispiele offensichtlich anbiedernd ist, lernt das Modell trotzdem Falsches. Der Blick auf die internen Repräsentationen umgeht die Hürde, das schlechte Verhalten zuerst in der Ausgabe erkennen zu müssen.

Können Probes kaputttrainiert werden?

Bei dieser Art von Verfahren bleibt eine Sorge: Wer mit dem Signal einer Probe trainiert, riskiert, dass das Modell lernt, die Probe zu umgehen, und die Überwachung damit wirkungslos wird. Goodfire hat das gezielt getestet und die Überwachung in fünf Stufen unterteilt: die ursprüngliche Probe weiterverwenden, lineare Neuanpassung, nichtlineare Neuanpassung, eine Probe auf einer anderen Schicht und reine Black-Box-Überwachung, die nur Ein- und Ausgaben betrachtet.

Im Anbiederungsexperiment fiel der AUROC der ursprünglichen Probe von 0,98 auf 0,93, die neu trainierte lineare Probe erreichte wieder 1,00. Das Betrugsexperiment sieht schlechter aus: In der ungünstigsten Konfiguration, in der der Gradient durch die Probe fließt, sank die balancierte Genauigkeit der ursprünglichen Probe von 0,98 auf 0,57; die übrigen Konfigurationen blieben bei 0,87 bis 0,90, nach erneutem Training waren es 0,97 bis 0,98.

Die Schlussfolgerung des Papers: In jedem Experiment ließ sich das Zielkonzept weiterhin überwachen, manchmal aber nur mit einer stärkeren oder anders platzierten Probe. Auch der theoretische Teil an Spielzeugmodellen mahnt zur Vorsicht: Wird eine Konzeptrichtung vollständig herausprojiziert, wächst sie sofort an anderer Stelle wieder nach und verwebt sich mitunter mit dem gewünschten Konzept. In einigen Bildexperimenten lag die Kosinusähnlichkeit zwischen guter und schlechter Konzeptrichtung höchstens bei etwa 0,45.

Die Autoren selbst schreiben, der Trainingsdruck sei „neither uniform nor benign by default“, also weder gleichmäßig noch standardmäßig harmlos.

Grenzen

Die Experimente reichen nur bis zu kleinen und mittleren Modellen; das Verhalten im Frontier-Maßstab wurde nicht getestet. Der theoretische Teil beruht auf Spielzeugmodellen und erklärt nicht alle neuronalen Kodierungen und tieferen Netze. Das Degradationsrisiko wird nur verringert, Probes müssen daher regelmäßig überprüft werden. Fällt eine Probe aus, lässt sich zudem nicht unterscheiden, ob das Konzept gelöscht wurde oder die Probe selbst nicht ausreichte.

Alle Daten des Papers stammen aus Experimenten des Goodfire-Teams, eine unabhängige Replikation ist bislang nicht zu sehen. Ob Frontier-Labs solche Nebenbedingungen ins reguläre Training aufnehmen, ist öffentlich nicht bekannt.

Quellen: Paper und Blog von Goodfire Research, CocoLoop (redaktionell zusammengestellt); die Versuchszahlen richten sich nach den im Blog zum Paper offengelegten Ergebnissen der jeweiligen Konfigurationen.