Googleは9月1日、Gemini APIに「agentic video」と呼ぶ動画処理モードを追加した。「動画をどう見るか」という判断をモデル自身に委ねる仕組みだ。開発者はすぐに利用でき、Geminiアプリにも順次展開される予定で、YouTubeの「Ask YouTube」機能も数カ月以内の対応を予定している。
三つの数字
変更が入ったのはサンプリングの層だ。これまでGeminiの動画処理は固定フレームレートで、デフォルトは毎秒1フレーム。発表会の映像でも監視カメラの映像でも、同じペースでコンテキストに流し込んでいた。新モードではモデルがネイティブの動画ツールを備え、推論しながらどの区間を、どの速度で見るか、映像フレーム・音声・字幕のどれを使うかを判断し、必要な瞬間だけを取得する。
Googleが公表した比較結果は、トークン消費が最大88%減、コストが最大66%減、精度が最大7%向上というもの。あわせて、Gemini 3.7 Flashは動画解析において精度とコストのパレートフロンティアに達したとしている。同じ価格帯でこれ以上精度の高いものはなく、同じ精度でこれ以上安いものもない、という意味だ。
三つの数字のうち最も直感に反するのは3つ目だ。ダウンサンプリングは通常、情報の欠落を伴う——見る量を減らせば知る量も減るはずだ。それでも精度が上がるのは、固定フレームレートには無駄と見落としが同時に存在するからだ。2時間の会議映像なら、大半のフレームは同じ人物が同じスライドの前に立っている場面で、その繰り返しがコンテキストの予算を圧迫する。一方で本当に重要な瞬間はわずか1秒に満たないこともあり、毎秒1フレームではちょうど見逃してしまう。必要な区間だけを取得すれば冗長なフレームを削れるうえ、必要な箇所ではサンプリング密度を逆に上げられる。
大まかな試算
1時間の映像を毎秒1フレームで処理すると3,600フレームになる。これを1コマずつコンテキストに詰め込めば、入力トークン数は概算で6桁からスタートする規模になる。この数字のせいで、これまで手を出せなかった用途は多い。3時間のライブ配信のアーカイブ、1週間分の店舗監視映像、長編ドキュメンタリー1本——素材を一度読み込むだけのコストが、業務上の価値を上回ってしまうケースだ。88%削減できれば5桁に落ち、長時間動画の解析はデモの段階から製品機能として使える水準に近づく。
Googleが今年Flash系列で繰り返し行ってきた改善は、おおむね単位コストの引き下げに向いている。動画分野ではこれまで、1本あたりの処理可能な長さを伸ばす方向の進歩が中心だったが、今回は単位時間あたりのコストを下げる方向に軸が移った。この2つが重なることで、単独の改善よりも効果が大きくなっている。
対応モデルと利用方法
対応するのはGemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteの3モデルで、利用経路はGemini API(Google AI Studio経由)とGemini Enterprise Agent Platform。課金は通常のGemini APIのトークン単価のままで、機能利用に追加料金はかからない。浮いたトークン分がそのまま請求額に反映される仕組みだ。開発者側の変更は小さく、設定の処理方式を「agentic」に切り替えるだけでよい。
Googleが挙げる代表的な4つの用途からも、狙っている領域が見えてくる。編集向けのサブ秒単位のクリップ特定、数時間規模の映像から目的の場面を探す検索、動的な再サンプリングによる異常検知、そして時系列を通じた動作や物体の正確なカウント。前の2つはコンテンツ・メディア業界向け、後の2つは監視、品質検査、巡回点検といった産業用途を明らかに意識している。
動画パイプラインを運用するチームへの意味
ショート動画の配信、ライブ配信の品質チェック、防犯映像の確認などを手がけるチームにとって、これまで長時間動画の解析は採算が合わないことが多く、安価なモデルや従来型のコンピュータビジョンで粗く絞り込んでから、疑わしい部分だけを大規模モデルに渡すのが定石だった。サンプリングの判断がモデル側に移ったことで、このパイプラインから工程を1つ減らせる可能性がある——粗い絞り込み自体がモデルの推論プロセスに組み込まれる形になるからだ。
念のため付け加えておくと、88%、66%、7%はいずれも「最大」の数字であり、最も条件のよいケースでの上限値だ。素材の種類やタスクの種類によって実際の効果がどこまで下がるのか、その分布はGoogleから示されていない。本番環境に投入する前には、自社の素材で一度検証しておく必要がある。
参考資料:Google公式ブログ、CocoLoop、Google DeepMind。トークン削減88%、コスト削減66%、精度向上7%という数値と対応モデル、課金方式は公式発表に基づいて確認済み。フレーム数の試算部分は編集部による概算。