Google推判斷專用模型,每百萬token僅0.1美元

Google推判斷專用模型,每百萬token僅0.1美元

Google 發表 Gemini Decisions API,背後是一個新模型 Gemini Decision 1(介面名稱 gemini-decision-1)。它只做一件事:在給定的選項裡挑出答案,並附上機率與信心度。工具選擇、策略檢查、模型路由、上下文分級,這類在 Agent 流程中反覆出現的「小判斷」,就是它瞄準的場景。

Google DeepMind 產品經理 Min Choi 與首席科學家 Felix Yu 在官方部落格中介紹,這個模型不像一般大型模型那樣逐個 token 生成答案文字,而是直接為候選選項打分數。

「Gemini Decision 1 scores your candidate options in a single forward pass」(Gemini Decision 1 在單次前向傳播中為候選選項打分。)

三種題型,一次最多一千道

此介面支援三種題型。是非題估算某個條件成立的機率,可以附上正反兩面的判斷標準;多選題會回傳勝出的選項以及每個候選項的正規化機率,選項數量介於 2 到 255 個之間;評分題對應從 0 開始的有序量表,回傳加權後的連續分數與各級距的機率。每個答案都帶有一個 0 到 1 的信心度。

輸入可以是文字、圖片、音訊、影片與 PDF,而且能混在同一份素材裡,例如一段客服通話錄音加上帳戶中繼資料,或是一份掃描檔加上一張貨物受損的照片。單次請求的輸入上限為 256K tokens,最多可同時評估 1000 個問題。

速度是這次發表的重點。官方給出的端到端延遲為 150 到 250 毫秒,模型運算部分的中位數延遲是 50 到 100 毫秒;基準測試的上下文最長為 16K tokens,題目數量從 1 道增加到 100 道,延遲幾乎不變。Google 自家的 Gemini Notebook 已經用它將使用者查詢即時分派給不同層級的模型,路由延遲最多降低了 40%。

只收輸入費,算一筆帳

定價為每百萬輸入 tokens 0.10 美元,輸出不收費。部落格原話是,沒有輸出 token 費用,沒有隨思考長度浮動的帳單,也不另外收音訊轉寫與 OCR 的費用。官方表示,在一套共用基準測試上,這個方案比透過 Interactions API 使用 Gemini 3.5 Flash-Lite 便宜約 5 倍。

粗略算一下:一個電商客服系統每次把 1 萬 token 的通話逐字稿與訂單資訊送進去,一次問 50 個問題(要不要退款、情緒是否激動、是否涉及詐欺、該轉給哪個組別),依輸入價計算,單次約 0.001 美元,一百萬次約 1000 美元。這個估算假設題目文字與素材合計為 1 萬 token,圖片、影片依解析度換算成 token 後,實際數字會有浮動。

比較的基準要看清楚。Google 拿來比較的是 Flash-Lite 這類生成式小模型,生成式方案要為輸出與思考 token 付費,問題越多、推理越長,帳單就越高;Decisions API 把這部分成本拿掉了。代價是它只能回答封閉式問題,開放式的摘要、改寫、寫程式仍然要交給生成式模型。

這類需求以前多半靠兩種辦法湊合:一是讓生成式小模型輸出「是」或「否」,再從文字中解析結果;二是另外訓練一個分類模型,換一批標籤就得重新訓練。前一種拿不到穩定的機率值,後一種看不懂圖片和音訊。Decisions API 給出的是附帶信心度的機率,開發者可以自行設定門檻,例如信心度低於 0.7 的工單轉人工,高於 0.9 的直接放行。這個門檻怎麼訂、模型的信心度與真實準確率對得有多準,要等開發者拿自己的資料去測,部落格裡只提供了 Google 內部案例的成效。

已經接進哪些產品

Google 列出了幾個內部案例:Gemini Notebook 的模型路由;Stitch 的快速畫布實驗,用它依據語音或點擊指令修改可互動的線框圖;Google Labs 的 CC 從 200 多個表情符號中挑選合適的回應;Google 搜尋則用它替 MCP 工具加上一層安全檢查,辨識對抗性行為。

此介面目前可透過 Gemini API 與 Google AI Studio 使用,並提供免費額度供原型開發,文件涵蓋 Python、JavaScript 與 REST。OpenRouter、LangChain、Vercel、LiteLLM、Pydantic AI、LiveKit 等第三方整合將陸續上線,Google Cloud 上的版本標示為「即將推出」,具體時間未公布。

參考來源:Google 官方部落格 Gemini Decisions API 發表文章(核實延遲、題量上限、256K 輸入上限,以及每百萬輸入 token 定價與 Flash-Lite 比較基準)、CocoLoop、Google DeepMind 產品團隊公開說明。