구글은 9월 1일 Gemini API에 '에이전틱 비디오(agentic video)'라는 영상 처리 모드를 도입했다. '영상을 어떻게 볼 것인가'라는 판단을 모델 스스로에게 넘기는 방식이다. 개발자는 즉시 사용할 수 있고, Gemini 앱에도 순차적으로 적용될 예정이며, 유튜브의 'Ask YouTube' 기능도 향후 몇 달 안에 이를 도입할 계획이다.
세 가지 숫자
이번 변화는 샘플링 단계에서 이뤄졌다. 그동안 Gemini의 영상 처리는 고정 프레임 속도, 기본값 초당 1프레임 방식이었다. 발표회 영상이든 감시카메라 영상이든 똑같은 속도로 컨텍스트에 밀어 넣었다. 새 모드에서는 모델이 네이티브 영상 도구를 갖추고 추론과 동시에 어떤 구간을, 어떤 속도로 볼지, 화면·음성·자막 중 무엇을 볼지를 판단해 필요한 순간만 가져온다.
구글이 공개한 비교 결과는 토큰 소비 최대 88% 감소, 비용 최대 66% 감소, 정확도 최대 7% 향상이다. 아울러 Gemini 3.7 Flash가 영상 분석에서 정확도와 비용의 파레토 프론티어에 도달했다고도 밝혔다. 같은 가격대에서 이보다 정확한 모델이 없고, 같은 정확도에서 이보다 저렴한 모델도 없다는 의미다.
세 수치 중 가장 직관에 반하는 것은 세 번째다. 다운샘플링은 보통 정보 손실을 동반한다—적게 보면 아는 것도 적어져야 정상이다. 그런데도 정확도가 오르는 이유는 고정 프레임 속도 방식에 낭비와 누락이 동시에 존재하기 때문이다. 두 시간짜리 회의 영상이라면 대부분의 프레임은 같은 사람이 같은 슬라이드 앞에 서 있는 장면이고, 이런 반복이 컨텍스트 예산을 잠식한다. 반면 진짜 중요한 순간은 단 1초 안에 지나갈 수도 있어 초당 1프레임으로는 정확히 놓치기 쉽다. 필요한 구간만 골라 가져오면 불필요한 프레임을 덜어내는 동시에 필요한 곳에서는 샘플링 밀도를 오히려 높일 수 있다.
대략적인 계산
영상 1시간을 초당 1프레임으로 처리하면 3,600프레임이 나온다. 이를 한 프레임씩 컨텍스트에 밀어 넣으면 입력 토큰 수는 대략 여섯 자릿수부터 시작한다(대략적인 추산). 이 숫자 때문에 그동안 손대지 못한 용도가 많았다—3시간짜리 라이브 방송 다시보기, 일주일치 매장 감시 영상, 장편 다큐멘터리 한 편 등, 소재를 한 번 읽어들이는 비용만으로도 업무상 가치를 넘어서 버리는 경우다. 88% 줄이면 다섯 자릿수로 떨어지는데, 장편 영상 분석이 데모 단계에서 제품 기능으로 넘어가는 문턱이 바로 이 지점이다.
구글이 올해 Flash 계열에서 반복해온 개선은 대체로 단위 비용을 낮추는 방향이었다. 영상 분야에서 그동안의 진전은 한 번에 처리 가능한 길이를 늘리는 쪽이었다면, 이번에는 단위 길이당 비용을 낮추는 쪽으로 초점이 옮겨갔다. 두 가지가 겹치면서 효과는 어느 한쪽만 진행했을 때보다 뚜렷하게 커졌다.
지원 범위와 사용법
지원 모델은 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 세 가지이며, 이용 경로는 Gemini API(Google AI Studio 경유)와 Gemini Enterprise Agent Platform이다. 과금은 기존 Gemini API 토큰 단가를 그대로 따르며 기능 자체에 별도 요금은 없다—절감된 토큰만큼이 그대로 청구서에 반영되는 구조다. 개발자 쪽 변경은 크지 않아, 설정에서 처리 방식을 'agentic'으로 지정하기만 하면 된다.
구글이 제시한 대표 활용 사례 네 가지에서도 겨냥하는 영역이 드러난다. 편집용 1초 미만 단위 구간 특정, 몇 시간 분량 영상에서 원하는 장면을 찾는 검색, 동적 재샘플링을 통한 이상 탐지, 그리고 시간축 전체에서 동작과 사물 개수를 정확히 세는 작업이다. 앞의 두 가지는 콘텐츠·미디어 업계, 뒤의 두 가지는 감시, 품질 검사, 순회 점검 같은 산업 현장을 겨냥한 것이 뚜렷하다.
영상 파이프라인을 운영하는 팀에 주는 의미
숏폼 영상 배급, 라이브 방송 품질 검수, 보안 영상 확인 등을 다루는 팀들은 그동안 장편 영상 분석의 수지가 맞지 않는 경우가 많았다. 통상적인 방식은 저렴한 모델이나 전통적인 컴퓨터 비전으로 먼저 걸러낸 뒤, 의심되는 구간만 대형 모델에 넘기는 것이었다. 샘플링 판단이 모델 쪽으로 넘어가면서 이 파이프라인에서 한 단계를 덜어낼 수 있게 됐다—1차 필터링 자체가 모델의 추론 과정에 통합되는 셈이다.
다만 보수적으로 짚어둘 부분이 있다. 88%, 66%, 7%는 모두 '최대치'로, 가장 유리한 상황을 기준으로 한 상한값이다. 소재 종류와 과제 유형에 따라 실제 이득이 얼마나 줄어드는지에 대한 분포는 구글이 공개하지 않았다. 실제 프로덕션에 적용하려면 자사 소재로 한 번은 직접 비교 테스트를 거쳐야 한다.
참고 출처: 구글 공식 블로그, CocoLoop, Google DeepMind. 토큰 절감 88%, 비용 절감 66%, 정확도 향상 7%라는 수치와 지원 모델, 과금 방식은 공식 발표 기준으로 확인했으며 프레임 수 환산 부분은 편집자의 대략적인 계산이다.