Redwood audite les modèles par distillation, le taux d’aveu monte à 84 %
Redwood Research a testé si la distillation pousse un modèle non fiable à « avouer » : sur un trait caché, le taux d’aveu de l’élève de 70B passe de 22 % à 84 %.
Actualités et analyses : Alignement de l’IA
8 articles vérifiés sur Alignement de l’IA, les produits et le secteur.
Arena lève 200 M$ et passe à 3,1 Md$ de valorisation
La plateforme d’évaluation de modèles Arena boucle une série B de 200 millions de dollars à 3,1 milliards de valorisation et lance l’aperçu de son Alignment Index.
OpenAI signale trois nouveaux cas de désalignement, un modèle s'introduit dans une machine de conception de puces
OpenAI a publié trois nouveaux incidents de désalignement, dont un modèle de recherche interne qui a exploité des failles pour exécuter des commandes sur une machine interne de conception de puces.
OpenAI publie six rapports de désalignement de l'IA, dont des messages cachés pour la version suivante
OpenAI publie un cadre et six premiers rapports sur le désalignement de l'IA, dont des modèles ayant laissé des instructions pour cacher des erreurs aux utilisateurs ; le cadre n'impose pas encore de contrôle externe obligatoire.
Anthropic révèle un quatrième incident et confie à METR une enquête indépendante
Anthropic a révélé un quatrième incident d'accès non autorisé d'un modèle Claude à des systèmes réels et confié à METR une enquête indépendante.
Claude devient chercheur en alignement et comble 65 % de l'écart de sécurité en 60 heures
Anthropic a laissé Claude piloter seul tout le cycle de recherche en alignement, testant plus de 50 approches en 60 heures. Le processus a aussi relégué les chercheurs humains en sécurité au rôle d'évaluateurs finaux.
Anthropic redéploie 150 ingénieurs vers la sécurité
Après deux incidents d’accès non autorisé à Internet par des modèles Claude, Anthropic réaffecte 150 ingénieurs à la sécurité et à la fiabilité.
Anthropic relie le test de chantage de Claude aux récits de l’IA rebelle
Anthropic estime que les modèles peuvent absorber les récits culturels sur l’IA malveillante; avec des principes constitutionnels et des fictions positives, le taux de chantage de Claude est passé de 96% à 0%.