O mesmo conjunto de diretrizes comportamentais fez a taxa de conclusão de tarefas do gpt-oss-120b subir 16.1 pontos percentuais, mas no GLM-5 não mudou nada. Em uma série de experimentos publicada em 18 de agosto, a IBM Research testou oito modelos e chegou a uma conclusão central: a dose certa de memória depende de quanta margem o próprio modelo ainda tem.
Os experimentos usaram o benchmark AppWorld: 585 tarefas de múltiplas etapas, sendo 168 de dificuldade regular e 417 de dificuldade alta, distribuídas em 9 aplicativos simulados como calendário, mensagens e pagamentos.
O método em si não é complicado: primeiro o agente executa as tarefas uma vez, e das trajetórias bem-sucedidas e malsucedidas se extraem diretrizes de comportamento, reunidas em um conjunto reutilizável; na hora da inferência, essas diretrizes são reinseridas no contexto. Há duas formas de inserção: injetar o conjunto inteiro a cada etapa, ou manter um núcleo fixo e enxuto e recuperar um subconjunto relevante por tarefa. O mesmo conjunto de diretrizes, duas formas de alimentação, comparadas lado a lado.
Três níveis de modelos, três soluções ótimas diferentes
Nos oito modelos testados, a divisão ficou muito clara.
O nível com folga generosa — DeepSeek-V3.2 (671B MoE), Claude Opus 4.6 e GPT-5.5 — teve melhor desempenho com o conjunto completo de diretrizes injetado. No DeepSeek-V3.2, a taxa de conclusão de tarefas subiu 9.5 pontos percentuais e a taxa de conclusão de cenários subiu 16.1 pontos; no Claude Opus 4.6 foram 4.1 e 7.1; no GPT-5.5, 2.9 e 7.2.
O nível de capacidade apertada tem apenas o gpt-oss-120b (117B MoE). Injetar o conjunto completo praticamente o afoga; ao trocar para recuperação seletiva, as duas métricas sobem 16.1 pontos percentuais cada, o maior ganho entre os oito modelos.
O GLM-5 (745B MoE) foi classificado no nível saturado, já perto do teto nesse conjunto de tarefas, então com ou sem memória as duas métricas não mudam: 0.0 ponto percentual.
Duas métricas que precisam ser vistas separadamente
O TGC (taxa de conclusão de tarefas) mede a proporção de tarefas individuais que o agente completa de forma integral e correta. O SGC (taxa de conclusão de cenários) é mais rigoroso: um cenário reúne várias variantes da mesma tarefa — dados diferentes, formulações diferentes, condições de contorno diferentes — e só conta como aprovado se todas as variantes passarem.
O valor de separar as duas métricas está escondido nos números: o TGC do DeepSeek-V3.2 subiu apenas 9.5 pontos, enquanto o SGC subiu 16.1 pontos. O mesmo padrão se repete no Claude Opus 4.6 (4.1 contra 7.1) e no GPT-5.5 (2.9 contra 7.2). O ganho trazido pela memória se concentra mais em "acertar o mesmo tipo de tarefa mesmo com outra formulação" do que em "resolver mais problemas novos". Para quem constrói sistemas de produção, o primeiro tipo de ganho é muito mais raro que o segundo.
O custo aparece nos tokens
A coluna de custo é a parte mais prática do estudo. Com injeção completa, o consumo de tokens por tarefa do DeepSeek-V3.2 subiu de 148,000 para 263,000, um aumento de 78%. O gpt-oss-120b, também com injeção completa, subiu de 110,000 para 166,000, um aumento de 51%. Ao trocar para recuperação seletiva, o consumo do gpt-oss-120b ficou em apenas 116,000, um aumento de só 5% — e isso rendeu 16.1 pontos percentuais.
Colocando os dois lado a lado numa conta rápida de custo-benefício: o gpt-oss-120b troca 5% de tokens extras por 16.1 pontos, o DeepSeek-V3.2 troca 78% de tokens extras por 9.5 pontos (na métrica TGC). A cada 1% de token extra, o primeiro rende cerca de 3.2 pontos percentuais, o segundo apenas cerca de 0.12 — uma diferença de mais de vinte vezes. Para operações cobradas por token, essa diferença já é suficiente para transformar "injetar toda a memória no modelo forte" numa conta que não fecha.
O aprendizado acontece fora do modelo
Os autores acrescentam uma frase que marca o limite desse método:
Learning happens around the model, not inside it.
O aprendizado acontece ao redor do modelo, não dentro dele.
As diretrizes mudam o ambiente de contexto do agente, enquanto os pesos do modelo permanecem intocados. A vantagem é que podem ser adicionadas ou removidas a qualquer momento, auditadas e trocadas junto com o modelo; o limite está no mesmo lugar — todo ganho fica restrito pela janela de contexto e pelo custo de inferência, e passado certo ponto o efeito se inverte, como aconteceu quando o conjunto completo de diretrizes afogou o gpt-oss-120b.
O trabalho é da IBM Research, assinado por dez autores, incluindo Vatche Isahagian, Evelyn Duesterwald e Vinod Muthusamy, com código e método publicados sob o nome ALTK-Evolve.
Para equipes que estão adicionando memória a agentes agora, a ordem de operações sugerida por esses dados é mais útil do que a conclusão em si: primeiro medir a margem básica do modelo na tarefa-alvo; com margem apertada, usar recuperação seletiva; com margem ampla, vale considerar a injeção completa; e para um modelo já perto do teto, economizar esses tokens e investir o orçamento em outro lugar.
Fontes: blog técnico da IBM Research e da Hugging Face, CocoLoop; a composição das 585 tarefas do AppWorld, as variações em pontos percentuais de TGC/SGC entre os oito modelos e os custos de token de cada configuração foram conferidos com os dados experimentais publicados.