El mismo conjunto de directrices de comportamiento hizo que la tasa de finalización de tareas de gpt-oss-120b subiera 16.1 puntos porcentuales, mientras que en GLM-5 no cambió nada. En una serie de experimentos publicada el 18 de agosto, IBM Research probó ocho modelos y llegó a una conclusión central: la dosis correcta de memoria depende de cuánto margen le queda al propio modelo.
Los experimentos usaron el benchmark AppWorld: 585 tareas de varios pasos, 168 de dificultad regular y 417 de dificultad alta, repartidas en 9 aplicaciones simuladas como calendario, mensajería y pagos.
El método en sí no es complicado: primero se deja que el agente ejecute las tareas una vez, y de las trayectorias exitosas y fallidas se extraen directrices a nivel de comportamiento, agrupadas en un conjunto reutilizable; en el momento de la inferencia, esas directrices se reinsertan en el contexto. Hay dos formas de introducirlas: inyectar el conjunto completo en cada paso, o mantener un núcleo fijo y reducido y recuperar por tarea el subconjunto relevante. El mismo conjunto de directrices, dos formas de alimentación, comparadas una junto a otra.
Tres niveles de modelos, tres soluciones óptimas distintas
Al probar los ocho modelos, la división quedó muy clara.
El nivel con margen amplio —DeepSeek-V3.2 (671B MoE), Claude Opus 4.6 y GPT-5.5— obtuvo el mejor resultado inyectando el conjunto completo de directrices. En DeepSeek-V3.2, la tasa de finalización de tareas subió 9.5 puntos porcentuales y la de finalización de escenarios subió 16.1 puntos; en Claude Opus 4.6 fueron 4.1 y 7.1; en GPT-5.5, 2.9 y 7.2.
El nivel de capacidad ajustada solo incluye a gpt-oss-120b (117B MoE). Inyectar el conjunto completo prácticamente lo desborda; al cambiar a recuperación selectiva, ambas métricas suben 16.1 puntos porcentuales cada una, el mayor incremento entre los ocho modelos.
GLM-5 (745B MoE) se ubicó en el nivel saturado, ya cerca de su techo en este conjunto de tareas, así que con o sin memoria ambas métricas no cambian: 0.0 puntos porcentuales.
Dos métricas que hay que mirar por separado
El TGC (tasa de cumplimiento de tareas) mide la proporción de tareas individuales que el agente completa de forma íntegra y correcta. El SGC (tasa de cumplimiento de escenarios) es más estricto: un escenario reúne varias variantes de la misma tarea —distintos datos, distinta redacción, distintas condiciones límite— y solo se cuenta como superado si todas las variantes pasan.
El valor de separar ambas métricas está escondido en los números: el TGC de DeepSeek-V3.2 subió solo 9.5 puntos, mientras que su SGC subió 16.1 puntos. El mismo patrón se repite en Claude Opus 4.6 (4.1 frente a 7.1) y GPT-5.5 (2.9 frente a 7.2). El beneficio de la memoria se concentra más en "acertar el mismo tipo de tarea aunque cambie la redacción" que en "resolver más problemas nuevos". Para quienes construyen sistemas de producción, el primer tipo de ganancia es mucho más escaso que el segundo.
El costo se refleja en los tokens
La columna de costos es la parte más práctica del estudio. Con inyección completa, el consumo de tokens por tarea de DeepSeek-V3.2 subió de 148,000 a 263,000, un aumento del 78%. gpt-oss-120b, también con inyección completa, subió de 110,000 a 166,000, un aumento del 51%. Al cambiar a recuperación selectiva, el consumo de gpt-oss-120b se quedó en solo 116,000, un aumento de apenas el 5%, a cambio de 16.1 puntos porcentuales.
Poniendo ambas cifras juntas para una cuenta rápida de costo-beneficio: gpt-oss-120b cambia un 5% de tokens extra por 16.1 puntos, DeepSeek-V3.2 cambia un 78% de tokens extra por 9.5 puntos (según el TGC). Por cada 1% adicional de tokens, el primero obtiene cerca de 3.2 puntos porcentuales, el segundo solo cerca de 0.12, una diferencia de más de veinte veces. Para operaciones que se cobran por token, esa brecha basta para convertir "inyectar toda la memoria al modelo fuerte" en una cuenta que no compensa.
El aprendizaje ocurre fuera del modelo
Los autores añaden una frase que marca el límite de este método:
Learning happens around the model, not inside it.
El aprendizaje ocurre alrededor del modelo, no dentro de él.
Las directrices cambian el entorno de contexto del agente, mientras que los pesos del modelo no se tocan. La ventaja es que se pueden añadir o quitar en cualquier momento, son auditables y se pueden cambiar al cambiar de modelo; el límite está en el mismo sitio: toda ganancia está acotada por la ventana de contexto y el costo de inferencia, y a partir de cierto punto se vuelve contraproducente, como ocurrió cuando el conjunto completo de directrices desbordó a gpt-oss-120b.
El trabajo proviene de IBM Research, firmado por diez autores, entre ellos Vatche Isahagian, Evelyn Duesterwald y Vinod Muthusamy, con el código y el método publicados bajo el nombre ALTK-Evolve.
Para los equipos que hoy añaden memoria a sus agentes, el orden de trabajo que sugieren estos datos resulta más útil que la conclusión misma: primero medir el margen base del modelo en la tarea objetivo; con margen ajustado, usar recuperación selectiva; con margen amplio, vale la pena considerar la inyección completa; y para un modelo ya cerca de su techo, ahorrar esos tokens e invertir el presupuesto en otra cosa.
Fuentes: blog técnico de IBM Research y Hugging Face, CocoLoop; la composición de las 585 tareas de AppWorld, las variaciones en puntos porcentuales de TGC/SGC entre los ocho modelos y los costos de tokens de cada configuración se han verificado con los datos experimentales publicados.