기업이 AI 에이전트를 업무 흐름에 연결하고 나면 가장 먼저 설명이 안 되는 것이 청구서다. 비용은 오르는데 어느 에이전트, 어떤 모델, 어떤 요청이 비용을 밀어올렸는지 팀은 답하지 못한다. OpenRouter가 8월 17일 공개한 Activity 대시보드와 베타 버전 Analytics API가 정확히 이 문제를 겨냥하고 있다.
새 기능은 사용량을 에이전트, 모델, 개별 요청 단위까지 분해한다. 관리자는 총지출, 요청 수, 토큰 사용량, 캐시 적중률, 100만 토큰당 종합 비용이라는 다섯 가지 지표에서 출발해 구체적인 로그까지 클릭해 들어갈 수 있다. OpenRouter는 비용 절감을 약속하지 않는다. 이 제품이 제공하는 것은 책임 소재까지 추적할 수 있는 사용량 뷰다.
총액에서 요청 한 건까지
OpenRouter의 공식 설명에 따르면 사용량은 모델, 제공업체, API 키, 애플리케이션, 사용자, 워크스페이스, 세션, 컨텍스트 길이, 데이터 리전 등 여러 축으로 나눌 수 있다. 그래프는 분·시간·일·주·월 단위로 집계할 수 있고, 생성 기록 한 건까지 파고들 수도 있다.
로그를 열면 한 건의 기록에서 추론, 캐싱, 웹 검색, 파일 처리 각각의 비용과 함께 지연시간, 처리량, 첫 토큰까지 걸린 시간, 라우팅과 폴백 정보까지 볼 수 있다. 여러 모델과 공급업체를 동시에 쓰는 팀에게 이런 항목들은 막연한 '비용 급등'을 실제로 조사 가능한 문제로 바꿔준다. 특정 에이전트의 시스템 프롬프트가 너무 길었는지, 캐시 프리픽스가 끊겼는지, 아니면 라우팅 전환으로 지연시간이 늘어났는지를 가려낼 수 있다는 뜻이다.
Every company that spent the last two years deploying agents is now asking the same question: what are they costing us, and which ones are worth it?
OpenRouter는 이렇게 밝혔다. 대시보드의 목적은 이 질문이 추상적인 채로 남지 않고 구체적인 애플리케이션과 요청으로 귀결되도록 하는 것이다.
가시성이 곧 자동 통제는 아니다
제품에는 프롬프트 인젝션과 민감정보 규칙이 요청을 차단·마스킹·플래그 처리한 상황을 보여주는 Guardrails 뷰도 포함돼 있다. Analytics API는 같은 데이터를 팀이 직접 만든 대시보드로 가져올 수 있게 해준다. 이 도구들이 해결하는 것은 가시성이지, 기업을 대신해 예산이나 승인 규칙을 정해주는 것이 아니다.
이 구분은 중요하다. 에이전트가 도구를 호출할 수 있게 되면 토큰 비용은 전체 지출의 한 층위에 불과하다. 도구 호출 횟수, 검색 범위, 파일 처리, 외부 서비스의 지연시간이 모두 실제 지출을 함께 바꾼다. 사용량을 에이전트, 모델, 요청 단위로 정리하고 나서야 팀은 고비용 작업에 상한을 두거나 캐싱·라우팅 전략이 실제로 효과가 있는지 판단할 수 있다.
이번 OpenRouter 업데이트는 AI 사용량 분석을 하나의 총액 청구서에서 추적 가능한 거래 흐름으로 끌어올렸다. 개발 책임자가 다음으로 봐야 할 것은 깔끔하게 정리된 요약 그래프가 아니라, 어떤 이상 요청이 안정적으로 재현되고 설명되며 예산 안으로 되돌릴 수 있는지다.
참고 출처: OpenRouter 제품 발표, Activity 대시보드·Analytics API·로그 항목 확인, CocoLoop.