깃허브는 9월 2일 자 엔지니어링 블로그에서 Copilot 코딩 에이전트의 비용 절감 방안을 공개했다. 작성자는 Erik Kristensen과 Napalys Klicius다. 네 가지 변경은 각각 추론 비용을 5.5%, 3.1%, 2.9%, 2.3% 줄였는데, 모두 모델에 전달하는 컨텍스트를 손본 것이지 더 저렴한 모델로 바꾼 것이 아니다.
네 가지 변경, 각각 수 퍼센트포인트
가장 큰 효과를 낸 것은 선택적 출력 압축으로, 5.5%를 절감했다. 규칙은 세밀하게 나뉜다. 소스 코드는 그대로 두고, 명령어 출력도 그대로 두며, 검색 결과는 순서만 재배열할 뿐 내용을 지우지 않는다. 실제로 압축 대상이 되는 것은 설치·빌드·테스트 로그에 담긴 수천 줄짜리 반복 노이즈뿐이다. 압축된 부분도 복원 경로가 남아 있어 모델이 필요하면 원본 출력을 다시 불러올 수 있다.
두 번째는 파일을 읽을 때 붙는 줄 번호 접두사를 없애 3.1%를 절감한 것이다. 초기 버전의 Copilot은 파일을 읽을 때마다 각 줄에 줄 번호를 붙였는데, 현재의 편집 워크플로에서는 이 형식이 필요 없다. 이를 제거하자 벤치마크에서 추론 비용이 약 5% 줄었고, 전체 청구액 기준으로는 3.1%에 해당한다. 두 수치는 기준으로 삼는 모수가 다르다.
세 번째는 task 툴의 프롬프트를 손본 것이다. 메타 프롬프팅 방식을 활용해 병렬 실행을 설명하는 지침을 동작은 그대로 둔 채 절반가량으로 줄여 2.9%를 절감했다. 이 프롬프트는 모델과 주고받는 매 턴마다 다시 전송되기 때문에, 압축으로 턴당 약 1,300토큰을 아낀다.
네 번째는 알림 왕복 횟수를 줄인 것으로 2.3%를 절감했다. 이전에는 백그라운드 작업이 끝난 뒤 결과를 모델에 전달하기 위해 검색 턴을 한 번 더 거쳐야 했다. 이를 일괄 전달 방식으로 바꾸면서 모델 호출 한 번을 통째로 없앴다.
토큰 절감이 곧 컨텍스트 축소는 아니다
이번 정리에서 가장 오해하기 쉬운 대목은 목표를 어떻게 정의했는지다.
The goal shouldn't be to use fewer tokens, but to tap into the right amount of context to move a task forward.
목표는 토큰을 적게 쓰는 것이 아니라, 작업을 진전시키는 데 필요한 만큼의 컨텍스트를 확보하는 것이어야 한다.
네 가지 변경의 공통점은 모델이 읽어도 쓰지 않는 부분만 걷어냈다는 점이다. 반복되는 빌드 로그, 아무도 보지 않는 줄 번호, 매 턴 다시 전송되는 긴 지침, 한 번 더 거치는 검색 턴. 실제로 정보를 담고 있는 부분—소스 코드, 명령어 출력, 검색 결과—은 전혀 손대지 않았다. '불필요함'과 '컨텍스트 부족' 사이에 선을 어디에 긋느냐가 이 방식 전체가 성립하는 전제다. 지나치게 걷어내면 작업 완료율이 떨어지고, 그 대가는 절감한 토큰보다 훨씬 크다.
오프라인 벤치마크 먼저, 온라인 비교는 그다음
수치보다 참고할 만한 것은 이 과정 자체다. 각 변경은 먼저 오프라인 에이전트형 코딩 벤치마크에서 작업 품질이 떨어지지 않았는지 검증한 뒤, 통제된 온라인 실험으로 대조군을 확인하고, 그 다음에야 Copilot CLI, Copilot 앱, 코드 리뷰 세 제품 라인에 순차 적용됐다.
이런 순서가 막는 것은 비용 절감에서 가장 흔한 역효과다. 토큰 사용량은 줄었는데 작업 완료율이 눈에 띄지 않게 몇 포인트 떨어지고, 호출 1건당 청구액은 보기 좋아지지만 사용자가 재시도를 반복하면서 결국 전체 지출은 오히려 늘어나는 상황이다. '작업 품질을 떨어뜨리지 않는다'는 것을 앞단에 고정 조건으로 못 박았기 때문에 뒤에 나오는 절감률이 의미를 갖는다.
네 가지를 단순히 더하면 약 13.8%가 되는데, 이는 단순 합산으로 실제로는 중복이 있을 수 있다. 모델을 교체하는 것에 비하면 큰 수치는 아니다. 모델 세대가 한 번 바뀌는 것만으로도 가격이 수십 퍼센트 낮아지는 경우가 흔하기 때문이다. 다만 이런 종류의 변화는 성격이 다르다. 어떤 모델을 쓰는지에 좌우되지 않고, 모델을 교체한 뒤에도 계속 효과가 있으며, 사용자가 쓰는 방식을 바꿀 필요도 없다.
사용량 기반으로 요금을 내는 Copilot 사용자에게는 플랫폼 쪽에서 절감한 만큼이 그대로 청구액에 반영된다. 코딩 에이전트가 작업 한 번을 실행하는 데 수십만 토큰을 쓰는 일은 드물지 않고, 빌드 로그와 테스트 출력의 분량이 실제로 읽어들인 소스 코드 전체를 웃도는 경우도 많다. 첫 번째 변경 하나만으로 5.5%를 되찾을 수 있는 이유가 여기에 있다. 중국 내에서 자체 코딩 에이전트를 구축하는 팀에도 이 부분은 가장 쉽게 간과되는 비용이다. 대부분의 프레임워크는 기본값으로 표준 출력 전체를 컨텍스트에 그대로 되돌려 넣고, npm install 한 번만으로도 유용한 소스 코드 수천 줄이 밀려날 수 있다.
이번 정리를 보면 코딩 에이전트의 비용 관리는 이미 컨텍스트 관리라는 층위로 내려와 있고, 이는 모델 선택과는 대체로 독립된 축이다.
참고 출처: 깃허브 공식 엔지니어링 블로그, CocoLoop, Copilot 제품 문서. 네 가지 변경의 절감률, 턴당 토큰 절감량, 검증 과정은 블로그 원문에 따라 항목별로 확인했다. 13.8%라는 합계는 단순 합산에 따른 개산치다.