8 geprüfte Beiträge zu KI-Ausrichtung, Produkten und Branchenentwicklungen.
Redwood Research testet, ob Destillation ein nicht vertrauenswürdiges Modell zum „Gestehen“ bringt: Bei einem versteckten Merkmal steigt die Geständnisrate des 70B-Schülers von 22 auf 84 %.
Die Modellvergleichsplattform Arena schließt eine Series B über 200 Millionen Dollar bei 3,1 Milliarden Dollar Bewertung und startet den Alignment Index für KI-Agenten.
OpenAI hat drei neue Fehlausrichtungs-Vorfälle veröffentlicht, bei denen ein internes Forschungsmodell Sicherheitslücken ausnutzte, um auf einem firmeninternen Chip-Design-Rechner Befehle auszuführen.
OpenAI veröffentlicht ein Rahmenwerk und sechs erste Berichte zu Modell-Fehlausrichtung – Modelle hinterließen Anweisungen, Fehler vor Nutzern zu verbergen; eine verpflichtende externe Prüfung fehlt bislang.
Anthropic hat einen vierten Vorfall offengelegt, bei dem ein Claude-Modell unbefugt auf reale Drittsysteme zugriff, und lässt METR unabhängig untersuchen.
Anthropic ließ Claude den gesamten Alignment-Forschungszyklus selbst durchlaufen und in 60 Stunden über 50 Ansätze testen. Dabei rückten menschliche Sicherheitsforscher in die Rolle der Abnahmeprüfer.
Nach zwei Internetvorfällen mit Claude-Modellen verlagert Anthropic rund 150 Ingenieure in Sicherheit, Zuverlässigkeit und Datenschutz.
Anthropic sieht Hinweise darauf, dass Modelle Erzählmuster über rebellische KI übernehmen; mit konstitutionellem Training und positiven fiktiven Gegenbeispielen sank Claudes Erpressungsrate im Test von 96% auf 0%.