같은 지침 세트를 gpt-oss-120b에 넣었더니 작업 완료율이 16.1포인트 올랐지만, GLM-5에 넣었을 때는 수치가 전혀 움직이지 않았다. IBM Research가 8월 18일 공개한 이 실험은 여덟 개 모델을 대상으로 진행됐고, 결론은 한 문장으로 요약된다. 메모리의 적정 투입량은 모델 자신에게 얼마나 여유가 남아 있느냐에 달려 있다는 것이다.
실험에는 AppWorld 벤치마크를 사용했다. 585개의 다단계 작업 중 168개는 일반 난이도, 417개는 고난도였고, 캘린더·메시지·결제 등 9개의 시뮬레이션 애플리케이션에 걸쳐 분포했다.
방법 자체는 복잡하지 않다. 먼저 에이전트가 작업을 한 차례 수행하게 하고, 성공과 실패 경로에서 행동 수준의 지침을 추출해 재사용 가능한 세트로 모은다. 추론 시점에는 이 지침들을 다시 컨텍스트에 넣는다. 투입 방식은 두 가지다. 지침 세트 전체를 매 스텝마다 주입하거나, 정제된 핵심을 고정해두고 나머지는 작업에 따라 관련 서브셋을 검색해서 쓰는 방식이다. 같은 지침 세트를 두 가지 방식으로 투입해 비교했다.
세 단계 모델, 세 가지 최적해
여덟 개 모델을 돌려본 결과 층위가 뚜렷하게 갈렸다.
여유가 충분한 층에는 DeepSeek-V3.2(671B MoE), Claude Opus 4.6, GPT-5.5가 속했고, 지침 세트 전체를 주입했을 때 효과가 가장 좋았다. DeepSeek-V3.2는 작업 완료율이 9.5포인트, 시나리오 완료율이 16.1포인트 올랐다. Claude Opus 4.6은 각각 4.1포인트와 7.1포인트, GPT-5.5는 2.9포인트와 7.2포인트였다.
용량이 빠듯한 층에는 gpt-oss-120b(117B MoE) 하나뿐이었다. 지침을 통째로 넣으면 모델이 압도당했지만, 정제된 검색 방식으로 바꾸자 두 지표 모두 16.1포인트씩 올라 여덟 개 모델 중 가장 큰 상승폭을 기록했다.
GLM-5(745B MoE)는 포화 층으로 분류됐다. 이 작업군에서는 이미 상한선에 근접해 있어서, 메모리를 넣든 안 넣든 두 지표 모두 0.0포인트로 변화가 없었다.
두 지표는 따로 봐야 한다
TGC(작업 완료율)는 에이전트가 개별 작업을 완전하고 정확하게 끝낸 비율을 나타낸다. SGC(시나리오 완료율)는 더 엄격하다. 하나의 시나리오는 같은 작업의 여러 변형(데이터, 표현, 경계 조건을 바꾼 것)을 포함하고, 그 변형을 모두 통과해야만 해당 시나리오가 통과로 인정된다.
두 지표를 나눠 봐야 하는 이유는 숫자 안에 있다. DeepSeek-V3.2의 TGC는 9.5포인트만 올랐지만 SGC는 16.1포인트 올랐다. 같은 현상이 Claude Opus 4.6(4.1 대 7.1)과 GPT-5.5(2.9 대 7.2)에서도 나타난다. 메모리가 주는 이득은 “새로운 문제를 더 많이 풀어내는 것”보다 “같은 종류의 작업을 표현이 달라져도 맞게 해내는 것”에 더 많이 반영된다. 프로덕션 시스템을 만드는 입장에서는 전자의 가치가 후자보다 훨씬 희소하다.
대가는 토큰에 나타난다
비용 항목이 이 실험에서 가장 실용적인 부분이다. DeepSeek-V3.2가 전체 주입 방식을 쓰면 작업당 토큰 소비가 14만 8000개에서 26만 3000개로 늘어 78% 증가했다. gpt-oss-120b도 전체 주입 방식에서 11만 개에서 16만 6000개로 늘어 51% 증가했다. 정제된 검색 방식으로 바꾸자 gpt-oss-120b의 소비는 11만 6000개에 그쳐 증가율이 5%에 불과했고, 그 대가로 16.1포인트를 얻었다.
이 두 그룹의 수치를 놓고 대략적인 가성비를 계산해보면, gpt-oss-120b는 토큰을 5% 더 써서 16.1포인트를 얻은 반면, DeepSeek-V3.2는 토큰을 78% 더 써서 9.5포인트(TGC 기준)를 얻는 데 그쳤다. 전자는 토큰 1% 증가당 약 3.2포인트, 후자는 약 0.12포인트로 스무 배 넘게 차이가 난다. 토큰 단위로 과금되는 온라인 서비스라면, 이 격차만으로도 “강한 모델에 메모리를 전량 투입한다”는 선택이 수지가 맞지 않는 거래가 될 수 있다.
학습은 모델 바깥에서 일어난다
저자들은 이 방법론의 경계를 짚는 문장을 하나 남겼다.
Learning happens around the model, not inside it.
학습은 모델 주변에서 일어나는 것이지, 모델 내부에서 일어나는 것이 아니다.
지침이 바꾸는 것은 에이전트의 컨텍스트 환경이며, 모델 가중치는 전혀 움직이지 않는다. 장점은 언제든 추가하거나 철회할 수 있고, 감사할 수 있고, 모델을 바꾸면 지침 세트도 바꿀 수 있다는 점이다. 한계도 거기에 있다. 모든 이득은 컨텍스트 윈도우와 추론 비용의 제약을 받고, 일정 수준을 넘으면 역효과가 난다. gpt-oss-120b가 지침 전체 주입에 압도당한 사례가 바로 그 예다.
이 연구는 IBM Research에서 나왔으며, 서명한 저자는 열 명으로 Vatche Isahagian, Evelyn Duesterwald, Vinod Muthusamy 등이 포함된다. 코드와 방법론은 ALTK-Evolve라는 이름으로 공개되어 있다.
에이전트에 메모리를 추가하려는 팀에게 이 데이터가 주는 것은 결론보다 실용적인 작업 순서다. 먼저 목표 작업에서 모델의 기준선을 측정해 얼마나 여유가 남았는지 확인한다. 여유가 적은 모델은 정제된 검색 방식을 쓰고, 여유가 큰 모델은 전량 투입을 고려할 수 있다. 이미 상한선에 근접한 모델이라면 그 토큰을 아껴 다른 부분을 개선하는 데 쓰는 편이 낫다.
참고 출처: IBM Research 및 Hugging Face 기술 블로그, CocoLoop; AppWorld 585개 작업 구성, 여덟 개 모델의 TGC/SGC 포인트 변화, 각 구성별 토큰 소비는 모두 공개된 실험 데이터를 기준으로 확인했다.