同じガイドライン集合をgpt-oss-120bに与えるとタスク完了率が16.1ポイント上昇したが、GLM-5に与えても数値はまったく動かなかった。IBM Researchが8月18日に公開したこの実験は8つのモデルを対象に行われ、結論は一言に集約される――記憶の適正な投与量は、モデル自身にどれだけ伸びしろが残っているかで決まる。
実験にはAppWorldベンチマークを使用した。585件のマルチステップタスクのうち168件は通常難易度、417件は高難易度で、カレンダー、メッセージ、決済など9種類のシミュレーションアプリに分布している。
手法自体は複雑ではない。まずエージェントに一度タスクをこなさせ、成功と失敗の軌跡から行動レベルのガイドラインを抽出して再利用可能な集合にまとめる。推論時にはこれらのガイドラインをコンテキストに戻す。投入方法は2通り――ガイドライン集合をすべてのステップで丸ごと注入するか、精選したコアを固定した上でタスクごとに関連するサブセットを検索して使うか。同じガイドライン集合を2通りの与え方で比較した。
3つの層、3つの最適解
8つのモデルで試した結果、層分けはくっきり分かれた。
伸びしろが十分な層――DeepSeek-V3.2(671B MoE)、Claude Opus 4.6、GPT-5.5――はガイドライン集合を丸ごと与えるのが最も効果的だった。DeepSeek-V3.2はタスク完了率が9.5ポイント、シナリオ完了率が16.1ポイント上昇。Claude Opus 4.6は4.1ポイントと7.1ポイント、GPT-5.5は2.9ポイントと7.2ポイント上昇した。
容量が逼迫している層に該当したのはgpt-oss-120b(117B MoE)のみだった。ガイドラインを丸ごと注入すると溺れてしまうが、精選検索方式に切り替えると両指標がそれぞれ16.1ポイント上昇し、8モデル中最大の伸び幅となった。
GLM-5(745B MoE)は飽和層に分類された。このタスク群ではすでに上限に近く、記憶を加えても加えなくても両指標とも変化は0.0ポイントだった。
2つの指標は分けて見る
TGC(タスク完了率)はエージェントが個々のタスクを完全かつ正確にやり遂げた割合を示す。SGC(シナリオ完了率)はより厳しい指標で、1つのシナリオには同一タスクの複数バリエーション――データ、言い回し、境界条件を変えたもの――が含まれ、すべてのバリエーションをクリアして初めてそのシナリオが通過とみなされる。
この2つを分けて見る価値は数字の中に表れている。DeepSeek-V3.2のTGCは9.5ポイントしか伸びなかったが、SGCは16.1ポイント伸びた。同じ現象はClaude Opus 4.6(4.1対7.1)とGPT-5.5(2.9対7.2)でも成立する。記憶による恩恵は「新しい問題を余分に解けるようになる」ことより、「同じ種類のタスクを言い回しが変わっても正しくこなせるようになる」ことに多く現れる。本番システムを運用する立場からすれば、前者の価値の方がはるかに希少だ。
代償はトークンに表れる
コストの項目はこの論文の中でもっとも実用的な部分だ。DeepSeek-V3.2をガイドライン丸ごと注入で動かすと、タスクあたりのトークン消費は14.8万から26.3万に増え、増加率は78%。gpt-oss-120bも同じく丸ごと注入で11万から16.6万に増え、増加率は51%。精選検索方式に切り替えると、gpt-oss-120bの消費は11.6万にとどまり、増加率はわずか5%で、それと引き換えに16.1ポイントの向上を得た。
この2組の数字を並べて費用対効果を大まかに計算すると、gpt-oss-120bは5%の追加トークンで16.1ポイントを得ているのに対し、DeepSeek-V3.2は78%の追加トークンで9.5ポイント(TGCベース)しか得ていない。前者はトークン増加1%あたり約3.2ポイント、後者は約0.12ポイントで、20倍以上の差がある。トークン課金型のオンラインサービスにとって、この差は「強いモデルに記憶を全量投入する」という選択を割に合わない取引に変えるのに十分だ。
学習はモデルの外側で起きる
著者らはこの手法の限界を示す一文を残している。
Learning happens around the model, not inside it.
学習はモデルの周囲で起きるのであって、モデルの内部で起きるのではない。
ガイドラインが変えるのはエージェントのコンテキスト環境であり、モデルの重みは一切動かない。利点は、いつでも追加・撤回でき、監査可能で、モデルを変えればガイドラインも入れ替えられること。だが限界もそこにある――すべての恩恵はコンテキストウィンドウと推論コストの制約を受け、ある程度を超えると逆効果になる。gpt-oss-120bがガイドライン丸ごと注入で溺れてしまったのは、その典型例だ。
この研究はIBM Researchによるもので、著者は10人、Vatche Isahagian、Evelyn Duesterwald、Vinod Muthusamyらが名を連ねる。コードと手法はALTK-Evolveという名称で公開されている。
エージェントに記憶を組み込もうとしているチームにとって、この実験データが示す運用手順は結論そのものより実用的だ。まず対象タスクでモデルのベースラインを測り、どれだけ伸びしろが残っているかを確認する。伸びしろが小さいモデルには精選検索を、大きいモデルには全量投入を検討する。すでに上限に近いモデルについては、そのトークン分を別の改善に回した方がよい。
参考資料：IBM ResearchおよびHugging Faceの技術ブログ、CocoLoop；AppWorldの585タスクの構成、8モデルのTGC/SGCポイント変化、各設定のトークン消費はいずれも公開実験データに基づいて確認済み。