字節跳動（バイトダンス）は9月14日、AIスマートフォンアシスタント「豆包（Doubao）」の一般消費者向け版をリリースした。第1弾となる搭載端末はヌビア（Nubia）の「NaviX Ultra」で、中興通訊（ZTE）とバイトダンスが共同開発した機種だ。同機は9月16日午後2時に発表・発売され、現在すでに予約を受け付けている。
同日、SAEP（Screen Automation Execution Protocol、画面自動操作実行プロトコル）と呼ばれる規約も公開された。公示期間は30日間。公式の説明によると、サードパーティアプリは自らの判断でアプリ内の操作境界を宣言でき、AIアシスタントによる画面自動操作を明確に許可、あるいは拒否できる。明確に拒否を宣言したアプリに対しては、アシスタントは自動操作を実行しない。
今回のアップデートで追加された機能
機能一覧の上位に挙げられているのは起動方法だ。音声による呼び出しに加え、指紋認証付きの専用AIキーを新設した。公式の説明では、このキーは入口であると同時に認可ポイントでもあり、指紋認証を通過して初めて次の処理に進む。
続いて画面Q&A機能。表示中の画面に映っている内容について、そのまま質問できる。ローカルデータ検索はアルバム、SMS、メモをカバーする。録音機能もアップグレードされ、Feishu（Lark）の文字起こしツール「妙記（Miaoji）」と連携した。アプリをまたいでタスクを実行する機能は「操作手機（スマホ操作）」と呼ばれ、現在はベータ版扱いだ。
公式が示したデモシナリオは、カメラを家具に向けて「このインテリアのスタイルに合わせて、高さ1.2メートル以内、価格1000元以内のキャビネットを選んで」と話しかけるというもの。アシスタントがECプラットフォーム内で条件に合う商品を探し出す。この一言には、スタイル・サイズ・価格という3つの制約条件が含まれており、それぞれ画像認識・検索・価格比較という3種の能力にまたがる。実際にタスクを完了するには、アシスタントがECアプリの中に入ってページをめくる必要がある。
データ処理はエッジ・クラウド連携方式を採用。コンプライアンス資質としてISO 27001、ISO 27701、ISO/IEC 42001、そして中国の情報セキュリティ等級保護制度（等保）3級が挙げられている。端末側の公開スペックは、厚さ7.62mm、バッテリー容量7100mAhだ。
実際にどこまで使えるかについては、公式自身が「機種、システムバージョン、アプリの対応状況、ユーザーの許諾という4つの要素次第」と条件を付けている。
操作される側に初めてスイッチが与えられた
画面自動操作というアプローチは、この2年あまり基本的に同じやり方を踏襲してきた。アシスタントがアクセシビリティ権限あるいはスクリーンショット権限を取得し、画面上の要素を認識し、タップやスワイプを模倣する。Anthropicの「computer use」、OpenAIのブラウザ操作機能、そして国内複数のスマホメーカーによるエージェント方案も、いずれもこの枠組みの中にある。
このやり方にはずっと未解決の問題があった。タップされる側のアプリには、これまで発言権が一切なかったのだ。相手が人間なのかアシスタントなのか区別できず、「このページには触れないでほしい」と正式に伝える手段もなかった。これまでの対処法は、アプリ側が自前で自動操作検知の仕組みを作るか、メーカーと大手アプリが水面下ですり合わせるかのどちらかだった。
SAEPが手を加えたのはまさにこの層で、操作される側が宣言という形で境界線を示せるようにした。決済や取引、コンテンツ配信を扱うアプリにとっては、これは実務上のニーズだ。自動操作によるトラフィックが実ユーザーのトラフィックと混ざると、リスク管理、課金、レコメンドモデルのいずれにも影響が出る。
ただし、この協定がどこまで実効性を持つかは運用次第だ。30日間の公示期間中、誰が宣言を行うのか、宣言の粒度がページ単位なのかアプリ単位に留まるのか、拒否された後にアシスタントの挙動がどう変わるのかについて、公式は現時点で細則を示していない。宣言リストそのものを公開するかどうかも明らかになっていない。この協定はバイトダンス自身が策定・管理するものであり、業界標準化団体が作ったものではないため、サードパーティが受け入れるかどうかは最終的に各社の判断に委ねられる。
国内ユーザーにとっての実務的な論点
1つ目は端末の紐付けだ。今回のアシスタントは当面NaviX Ultraにのみ搭載され、他機種にいつ、どこまで搭載されるかは公表されていない。国内のAIアシスタントではここ数年、まず自社ハードウェアで機能を先行させ、その後外部に展開するというパターンが繰り返されてきた。今回もこの流れを踏襲するとみられる。
2つ目は権限だ。画面自動操作は一般アプリより一段高い権限を必要とし、さらにアルバム・SMS・メモといったローカル検索機能も加わるため、許諾の範囲は小さくない。指紋認証付きのAIキーは入口に一段の関門を設けているが、認可を得た後にアシスタントがバックグラウンドでどこまでアクセスできるかを、ユーザーが逐一確認するのは難しい。
3つ目は実用性だ。「スマホ操作」機能はまだベータ版であり、この種の機能が国内アプリのエコシステムで最もつまずきやすいのは、認証コード、決済確認、ログイン状態の3つだ。そしてこの3つは、いずれもアシスタントに代行させるのに適さない領域である。
参考資料：豆包公式発表、IT之家、Nubia公式サイト、CocoLoop；SAEPの公示期間、端末の発売スケジュール、機能制限に関する記述を確認。