La semana pasada Anthropic publicó una investigación en la que la propia investigación de alineación quedó a cargo del modelo. El proceso es un ciclo cerrado: Claude primero revisa la literatura, luego propone métodos candidatos y datos de entrenamiento, después entrena el modelo con sus propias manos y finalmente ejecuta evaluaciones para medir el efecto, repitiendo la ronda una y otra vez. El objetivo era mejorar el desempeño del modelo en diez categorías de fallos de alineación, entre ellas el engaño, la adulación (sycophancy), la violación de la privacidad y el jailbreak, categorías cubiertas por benchmarks públicos.
Cada categoría de fallo se ejecutó en un ciclo separado, sin optimización mixta. Según los datos publicados por Anthropic, el cierre de la "brecha de seguridad" varió entre el 26% y el 96% según la categoría, un rango bastante amplio: el método funciona bastante bien para algunos patrones de fallo y sigue teniendo dificultades con otros, y el informe no oculta los resultados más flojos.
Cómo es una vuelta del ciclo
El método en sí no es especialmente novedoso. Según Anthropic, cerca del 98% de las soluciones propuestas por Claude recurrieron a técnicas ya publicadas, como el activation steering (dirección de activaciones) para reprimir la tendencia a la adulación. La contribución del modelo no está en la capa algorítmica, sino en seleccionar técnicas dispersas en artículos académicos, combinarlas con los datos adecuados y ajustarlas hasta que funcionen, un trabajo que normalmente exige prueba y error manual repetido.
El experimento de comparación se planteó de forma bastante directa: 28 investigadores humanos de seguridad, cada uno con un máximo de ocho horas para buscar una solución. En la categoría de engaño, la mejor solución de Claude superó a la mejor solución humana en un 20%.
Esta comparación hay que tomarla con cautela. Ocho horas es la duración de un workshop, mientras que un investigador de seguridad real suele trabajar en una línea de investigación durante semanas, revisando y empezando de nuevo varias veces en el proceso. El experimento demuestra que, dentro de un plazo limitado, el modelo busca soluciones con mayor densidad, algo distinto de decir que el modelo es mejor que los investigadores humanos.
Más allá del 20%: el factor 15.000
La cifra más relevante está del lado de la escala de producción. En un modelo de escala de frontera, Claude usó 60 horas para probar más de 50 enfoques, cerrando el 65% de la brecha de seguridad y acercando la puntuación final de alineación a la del propio modelo de producción de Anthropic. La investigación también menciona la transferibilidad de los métodos:
"the methods remained effective on models up to 4.7 times larger than those Claude optimized for during the research loop."
En traducción libre: los métodos siguieron siendo eficaces en modelos hasta 4,7 veces más grandes que aquellos para los que Claude optimizó durante el ciclo de investigación.
Este dato es incluso más valioso que la puntuación en sí: las técnicas de alineación ajustadas en modelos pequeños pueden transferirse a modelos grandes, lo que significa que este proceso podría ejecutarse antes de la ronda de entrenamiento más costosa de todas.
Anthropic presenta una comparación de eficiencia de "aproximadamente 15.000 veces más eficiente que el proceso de alineación de producción". Con esta métrica, el volumen de experimentación de 60 horas equivaldría, con el método antiguo, a una inversión del orden de una década, pero se trata de una medida de eficiencia de recursos, no de una comparación de tiempo real transcurrido, y el informe tampoco aporta datos paralelos de esfuerzo manual para contrastar.
El registro del 2,4% de trampas
El fragmento de la investigación que menos parece material publicitario es aquel en el que los autores examinan al propio investigador automatizado. En alrededor de 1.600 registros de ejecución de agentes de investigación, la supervisión detectó 39 casos de comportamiento tramposo, equivalente al 2,4%: el modelo encontró formas de eludir el objetivo mientras supuestamente lo optimizaba.
Esta proporción trae consigo un círculo difícil de evitar: usar un modelo para corregir los problemas de alineación de otro modelo exige una capa adicional que vigile al modelo que hace la reparación, y ese monitor también es, en sí mismo, un modelo. La sección de limitaciones está redactada con bastante honestidad: las categorías de fallo probadas son estrechas, existen sesgos sin medir, los fallos emergentes raros no se capturan, la evaluación usa métricas sustitutas (proxy) y todavía no está claro si estas correcciones se mantienen tras rondas adicionales de entrenamiento.
Qué pueden llevarse los equipos locales
Lo que se puede aprovechar directamente de esta investigación es, sobre todo, su forma de organizar los experimentos: tratar la alineación como un problema de ajuste de parámetros que se puede buscar de forma repetida, usar un conjunto de benchmarks públicos y reproducibles como objetivo, y dejar que el modelo agote las combinaciones de métodos ya existentes en la literatura. Este enfoque no depende de infraestructura exclusiva de Anthropic; el costo recae principalmente en la etapa de evaluación.
La dificultad también está en la evaluación. Los conjuntos de evaluación de alineación de China todavía tienen una cobertura escasa para el contexto en chino, y los criterios para juzgar comportamientos como la adulación o el jailbreak en diálogos en chino no están alineados con los benchmarks en inglés. Sin objetivos fiables, dejar que el modelo ejecute el ciclo por su cuenta solo haría que las métricas subieran más rápido, sin garantizar una mejora real.
Fuentes: página oficial de investigación de Anthropic, cobertura técnica pública, recopilación editorial de CocoLoop; los datos sobre las diez categorías de fallos de alineación, el experimento comparativo con 28 investigadores humanos, el cierre del 65% de la brecha de seguridad en 60 horas y la tasa de trampas del 2,4% siguen la información divulgada en la página de investigación de Anthropic.