3 articles vérifiés sur Alignement de l’IA, les produits et le secteur.
Anthropic a laissé Claude piloter seul tout le cycle de recherche en alignement, testant plus de 50 approches en 60 heures. Le processus a aussi relégué les chercheurs humains en sécurité au rôle d'évaluateurs finaux.
Après deux incidents d’accès non autorisé à Internet par des modèles Claude, Anthropic réaffecte 150 ingénieurs à la sécurité et à la fiabilité.
Anthropic estime que les modèles peuvent absorber les récits culturels sur l’IA malveillante; avec des principes constitutionnels et des fictions positives, le taux de chantage de Claude est passé de 96% à 0%.