豆包手機助理推消費版,App可拒絕AI代操作

字節跳動於9月14日發表豆包手機助理的消費者版,首波搭載機型是努比亞(Nubia)NaviX Ultra,由中興通訊與字節跳動聯合研發。這款手機於9月16日下午兩點發表並開賣,目前已開放預購。

同一天釋出的還有一份名為SAEP的協議,全名是螢幕自動化操作聲明協議(Screen Automation Execution Protocol),公告期為30天。依官方說法,第三方App可以自行聲明App內的操作邊界,明確允許或拒絕AI助理在自家App內進行螢幕自動化操作;對於明確拒絕的App,助理不會執行自動化動作。

這個版本補上了哪些功能

功能清單排在前面的是喚醒方式:語音喚醒,再加上一顆具備指紋驗證的專屬AI鍵。依官方描述,這顆鍵既是入口也是授權點,指紋驗證通過才會往下執行。

接著是螢幕問答功能,目前頁面上看得到的內容都能直接提問;本機資料搜尋涵蓋相簿、簡訊、記事本;錄音功能也做了升級,並串接飛書妙記。跨App執行任務的部分稱為「操作手機」,目前掛著Beta標籤。

官方給出的示範情境是對著相機說一句「根據這個裝潢風格,幫我挑一個一米二以內、價格不超過一千元人民幣的櫃子」,助理便到電商平台裡尋找符合條件的商品。這句話裡壓了三個限制條件——風格、尺寸、價格,分別落在視覺辨識、搜尋、比價三種能力上,要跑得通,助理必須真的進到電商App裡翻頁瀏覽。

資料處理採端雲結合方案。合規資質列出了ISO 27001、ISO 27701、ISO/IEC 42001,以及中國的資訊安全等級保護三級(等保三級)。手機端公開的規格是厚度7.62mm、電池容量7100mAh。

至於實際能用到什麼程度,官方自己也附上了但書:取決於機型、系統版本、App適配狀況與使用者授權這四項條件。

被操作的一方第一次有了開關

螢幕自動化這條路線已經走了兩年多,做法大致相同:助理取得無障礙權限或截圖權限,辨識介面元素,模擬點擊與滑動。Anthropic的computer use、OpenAI的瀏覽器操作功能,以及中國國內幾家手機廠的智慧體方案,底層邏輯都落在這個框架裡。

這種做法一直有個沒解決的地方:被點擊的那個App,全程沒有發言權。它分不出對面是真人還是助理,也沒有正式管道能表示「這個頁面請不要動」。過去的處理方式,要嘛是App自己做反自動化偵測,要嘛是廠商與大型App私下協調適配。

SAEP改動的正是這一層,讓被操作的一方能用聲明的形式把邊界寫清楚。對做交易、做支付、做內容分發的App來說,這是實際存在的需求:自動化流量一旦與真實使用者流量混在一起,風控、計費、推薦模型都會受到影響。

不過協議實際能發揮多少效力,還是要看落地執行。30天的公告期內,誰有資格聲明、聲明的顆粒度能到頁面還是只能到整個App、遭拒絕後助理的行為要怎麼退讓,官方目前都還沒公布細則。聲明清單本身會不會公開也還沒說明。這份協議由字節跳動自行制定與維護,並非業界標準組織的產物,第三方要不要採信,最終還是取決於各家自己的判斷。

對中國使用者來說的幾個實際問題

第一是機型綁定。這一版助理首發只跟著NaviX Ultra走,其他機型什麼時候能裝、能裝到什麼程度,公告裡並未提及。中國AI助理這兩年反覆出現的情況是,功能先在自家硬體上跑起來,之後才逐步對外開放,這次的節奏看起來也是如此。

第二是權限。螢幕自動化要拿到的權限比一般App高一級,加上本機相簿、簡訊、記事本的搜尋能力,授權範圍並不小。指紋驗證的AI鍵算是在入口處多加了一道關卡,但助理取得授權之後在背景能觸及的範圍,使用者其實很難逐項確認。

第三是可用性。「操作手機」功能還在Beta階段,這類功能在中國App生態裡最容易卡住的地方,恰好是驗證碼、付款確認和登入狀態這三個環節——而這三個環節,正好都不適合交給助理代勞。

參考來源:豆包官方公告、IT之家、努比亞官網、CocoLoop;核實SAEP公告週期、機型上市安排與功能限制條件之敘述。