Pixel 11には、音声に頼らない入力手段が加わる。ユーザーがアメリカ手話でサインすると、GboardやLive Transcribeが英語テキストに変換する。
Google DeepMindは8月12日、SL2Tを発表した。初期対応はPixel 11上のASLから英語で、今後は対応端末と言語を広げる計画だ。検索、メッセージ、文書作成、Geminiへの依頼、Live Transcribeでの返信まで、通常なら入力欄を使う場面に手話入力を置く。
手話は「手の上の英語」ではない
重要なのは、手話が独自の文法、語彙、表情、空間構造を持つ自然言語だという点だ。そのためSL2Tは、フレームごとのジェスチャー認識ではなく翻訳モデルとして設計されている。
DeepMindによると、訓練データは50以上の手話にまたがる10万時間超で、その約4分の1がASLだ。FLEURS-ASLのASLから英語への評価では、ゼロショットで70 BLEURTを記録した。対象となるのは世界で約7000万人のろう者・難聴者でもある。
プライバシーは姿勢点から始まる
SL2Tは原動画をそのまま翻訳に送らない。端末上のMediaPipe Holisticが身体のランドマークを追跡し、その座標列をサーバー側で翻訳する。完全な映像を送るよりデータ面は小さいが、姿勢データにも慎重な扱いが必要だ。
実用上の試験はベンチマークの外にある。Googleはストリーミング遅延、手話でない入力への幻覚、左利き、スマートフォンを持ったままの片手手話にも取り組んだとしている。
次に見るべき点
初回リリースはPixel 11上のASLから英語に限られる。次の焦点は、より多くの手話、特にデータの少ない手話へ広げられるかどうかだ。もう一つは、手話入力が通話、教育、顧客対応、AIワークフローの共通アクセシビリティ層になるかどうかである。
SL2Tは単なるスマートフォンのAI機能ではない。モデルのスケール、アクセシビリティ、プライバシー設計、少数言語データを一つの製品テストに結びつけた。
情報源：Google DeepMind公式発表、FLEURS-ASLベンチマーク資料、SiliconANGLE、CocoLoop、Engadget。SL2Tの公開範囲、Pixel 11/Gboard/Live Transcribe統合、10万時間超の訓練データ、50以上の手話、70 BLEURTの評価範囲、MediaPipe Holisticのランドマーク処理、初期ASL英語対応を確認。