Redwood audita modelos con destilación y la tasa de confesión sube al 84 %
Redwood Research probó si la destilación hace «confesar» a un modelo no fiable: en un rasgo oculto, la tasa de confesión del alumno de 70B pasó del 22 % al 84 %.
Noticias y análisis de Alineación de IA
8 artículos verificados sobre Alineación de IA, productos y movimientos del sector.
Arena capta 200 millones de dólares y vale 3.100 millones
La plataforma de evaluación de modelos Arena cierra una serie B de 200 millones de dólares con valoración de 3.100 millones y lanza la vista previa de su Alignment Index.
OpenAI reporta tres nuevos casos de desalineación; un modelo se infiltra en una máquina de diseño de chips
OpenAI publicó tres nuevos incidentes de desalineación de IA, incluido un modelo de investigación interno que explotó vulnerabilidades para ejecutar comandos en una máquina interna de diseño de chips.
OpenAI publica seis informes de desalineación de IA, con notas ocultas para la próxima versión
OpenAI publica un marco y seis primeros informes sobre desalineación de IA, incluidos modelos que dejaron instrucciones para ocultar errores a los usuarios; el marco aún no exige revisión externa obligatoria.
Anthropic revela un cuarto incidente y pide a METR una investigación independiente
Anthropic reveló un cuarto incidente de acceso no autorizado a sistemas reales por un modelo Claude y contrató a METR para investigar de forma independiente.
Claude actúa como investigador de alineación y cierra el 65% de la brecha de seguridad en 60 horas
Anthropic dejó que Claude ejecutara todo el ciclo de investigación de alineación por sí mismo, probando más de 50 enfoques en 60 horas. El proceso también relegó a los investigadores humanos de seguridad al papel de evaluadores finales.
Anthropic traslada a 150 ingenieros a seguridad
Tras dos incidentes de acceso no autorizado a Internet por modelos Claude, Anthropic reasigna a 150 ingenieros a seguridad, fiabilidad y privacidad.
Anthropic atribuye la prueba de chantaje de Claude a relatos de IA rebelde
Anthropic sostiene que los modelos pueden absorber patrones narrativos sobre IA malvada; al combinar principios constitucionales con ficción positiva, la tasa de chantaje de Claude bajó del 96% al 0%.