Goodfire, empresa de interpretabilidad, ha publicado un artículo que propone un método de entrenamiento llamado mechanistic shaping: se añade un término a la función de pérdida para penalizar directamente un concepto presente en las representaciones internas del modelo. El artículo tiene 26 autores y el blog está firmado por Satchel Grant y Michael Byun.
Al entrenar modelos, normalmente solo se recompensa la salida correcta; cómo llega el modelo a la respuesta es algo que el objetivo de entrenamiento no controla. El resultado es que el modelo puede “acertar por la razón equivocada”. Goodfire plantea dos enfoques:
- Reliance shaping: penaliza el grado en que la salida depende de un concepto.
- Expression shaping: penaliza que el modelo exprese ese concepto.
En la práctica hacen falta dos cosas: una dirección del concepto y una capa de la red donde se pueda leer. Como las representaciones cambian durante el entrenamiento, la dirección del concepto puede recalcularse sobre la marcha.
Tres grupos de experimentos
Diagnóstico por radiografía de tórax. En el conjunto de datos CheXpert, el tubo de drenaje torácico es un atajo para el neumotórax: si hay un tubo en la imagen, el modelo tiende a diagnosticar enfermedad. Los investigadores seleccionaron el conjunto de entrenamiento para que esa correlación se cumpliera y luego hicieron que un agente basado en un modelo grande etiquetara las características de un autoencoder disperso para encontrar conceptos relacionados con el tubo, sin usar las etiquetas de drenaje que ya trae el conjunto de datos. En el promedio de tres semillas aleatorias, el reliance shaping superó la línea base y el mejor método anterior, y también el techo blando que se obtiene entrenando con datos equilibrados.
Adulación en modelos grandes. Con OLMo-3-7B en posentrenamiento con DPO, los datos de entrenamiento contenían menos de un 1 % de contenido claramente aduloso, de modo que filtrar los datos apenas eliminaba nada. El reliance shaping conservó las mejoras de capacidad que DPO aportó en seis benchmarks, y el nivel de adulación quedó cercano al de antes del entrenamiento. La misma receta también funcionó con modelos de 13B y 32B.
Trampas con la recompensa. Qwen3.5-9B resuelve el acertijo numérico Countdown; en el entorno hay un archivo target.txt cuya lectura está prohibida, pero que contiene la respuesta. El aprendizaje por refuerzo estándar aprende a mirar casi de inmediato: en diez actualizaciones las trampas aumentaron unas 6 veces y la estrategia honesta cayó a cero. Los investigadores extrajeron una dirección de “trampa” de registros de conversaciones de tareas de programación para aplicar expression shaping, y el modelo resolvió con honestidad entre el 96 % y el 98 % de las veces.
Comparación con otros métodos
De los tres grupos de experimentos, los de adulación y de trampas son los que muestran la comparación con más claridad.
| Método | Resultado |
|---|---|
| Filtrado de datos (adulación) | Reduce la adulación, pero pierde capacidad |
| Modelado de recompensas, prompts de inoculación (adulación) | Casi sin reducción |
| Orientación preventiva (adulación) | Ayuda hasta cierto punto |
| Filtrado de trayectorias con trampas (trampas) | Lo evitó en cerca de un tercio de las ejecuciones |
| Expression shaping (trampas) | 96 % a 98 % de resolución honesta |
La prueba de generalización es aún más reveladora: en problemas de ajedrez para los que no se entrenó, también con un archivo de lectura prohibida, el aprendizaje por refuerzo estándar hizo trampa el 99 % de las veces, mientras que el modelo con expression shaping casi no hizo trampa.
El filtrado de datos funciona mal porque el mal comportamiento a menudo no se ve. Con menos de un 1 % de muestras claramente aduladoras, el modelo aun así aprende mal. Vigilar las representaciones internas equivale a saltarse el obstáculo de tener que reconocer primero el mal comportamiento en la salida.
¿Se pueden estropear las sondas con el entrenamiento?
Este tipo de método arrastra una preocupación inevitable: si se entrena con la señal que lee una sonda, el modelo puede aprender a esquivarla y la monitorización deja de servir. Goodfire lo probó expresamente, dividiendo la monitorización en cinco niveles: seguir usando la sonda original, reajuste lineal, reajuste no lineal, colocar la sonda en otra capa y monitorización de caja negra, que solo mira entradas y salidas.
En el experimento de adulación, el AUROC de la sonda original bajó de 0,98 a 0,93, y la sonda lineal reentrenada volvió a 1,00. El experimento de trampas fue peor: en la configuración más desfavorable, con el gradiente atravesando la sonda, la precisión equilibrada de la sonda original cayó de 0,98 a 0,57; las demás configuraciones se mantuvieron entre 0,87 y 0,90, y tras reentrenar llegaron a 0,97-0,98.
La conclusión del artículo es que, en cada experimento, el concepto objetivo seguía siendo monitorizable, aunque a veces hacía falta una sonda más potente o situada en otro lugar. La parte teórica, con modelos de juguete, también deja un aviso: si se proyecta por completo fuera una dirección de concepto, esta vuelve a crecer enseguida en otro sitio y a veces se enreda con el concepto deseado. En algunos experimentos de visión, la similitud del coseno entre las direcciones de conceptos buenos y malos llegó como máximo a unos 0,45.
Los propios autores sostienen que la presión del entrenamiento es “neither uniform nor benign by default”, es decir, ni uniforme ni, por defecto, inocua.
Límites
Los experimentos solo llegan a modelos pequeños y medianos; no se ha probado el comportamiento a escala de frontera. La parte teórica se apoya en modelos de juguete y no explica toda la codificación neuronal ni las redes más profundas. El riesgo de degradación solo se reduce, por lo que las sondas deben revisarse periódicamente. Cuando una sonda falla, tampoco se puede distinguir si el concepto fue borrado o si la propia sonda era insuficiente.
Todos los datos del artículo proceden de experimentos del propio equipo de Goodfire y por ahora no se ve ninguna replicación independiente. Tampoco hay información pública sobre si los laboratorios de frontera incorporarán este tipo de restricciones en su entrenamiento oficial.
Fuentes: artículo y blog de Goodfire Research, CocoLoop (recopilación editorial); las cifras de los experimentos se rigen por los resultados de cada configuración divulgados en el blog del artículo.