Pixel 11 erhaelt einen Eingabeweg ohne Sprache. Nutzerinnen und Nutzer koennen in American Sign Language gebaerden, Gboard oder Live Transcribe wandeln das in englischen Text um.
Google DeepMind stellte SL2T am 12. August vor. Der Start umfasst ASL zu Englisch auf Pixel 11; weitere Geraete und Sprachen sollen folgen. Damit kann Gebaerdeneingabe fuer Suche, Nachrichten, Dokumente, Gemini-Anfragen und Antworten in Live Transcribe genutzt werden.
Gebaerdensprache ist kein Englisch auf Haenden
Der zentrale technische Punkt: Gebaerdensprachen sind eigenstaendige natuerliche Sprachen mit eigener Grammatik, Lexik, Mimik und Raumstruktur. SL2T ist deshalb als Uebersetzungsmodell gebaut, nicht als Gestenerkennung pro Videoframe.
Laut DeepMind wurde SL2T mit mehr als 100.000 Stunden Daten aus ueber 50 Gebaerdensprachen trainiert, etwa ein Viertel davon ASL. In der FLEURS-ASL-Bewertung fuer ASL zu Englisch meldet Google einen Zero-Shot-Wert von 70 BLEURT. Weltweit nutzen etwa 70 Millionen gehoerlose und schwerhoerige Menschen Gebaerdensprachen.
Privatsphaere beginnt bei Koordinaten
SL2T schickt nicht einfach den Roh-Kamerastream zur Uebersetzung. Ein MediaPipe-Holistic-Modell auf dem Geraet verfolgt Koerper-Landmarks, danach wird die Koordinatensequenz serverseitig uebersetzt. Das verkleinert die Datenflaeche gegenueber vollem Video, auch wenn Pose-Daten weiterhin sensibel bleiben.
Der Praxistest liegt jenseits des Benchmarks. Google nennt Streaming-Latenz, Halluzinationen bei Nicht-Gebaerden, Linkshaender und einhaendige Gebaerden waehrend des Haltens eines Smartphones als bearbeitete Probleme.
Worauf es nun ankommt
Der erste Start ist eng: ASL zu Englisch auf Pixel 11. Entscheidend wird, ob Google mehr Gebaerdensprachen einbinden kann, besonders solche mit wenig Daten. Ebenso wichtig ist, ob Gebaerdeneingabe zu einer allgemeinen Barrierefreiheits-Schicht fuer Anrufe, Bildung, Kundendienst und KI-Workflows wird.
SL2T ist damit nicht nur ein weiteres Handy-KI-Feature. Es verbindet Modellskalierung, Barrierefreiheit, Datenschutzarchitektur und Minderheitensprachdaten in einem Produkttest.
Quellen: offizielle Google-DeepMind-Veroeffentlichung, FLEURS-ASL-Benchmarkmaterial, SiliconANGLE, CocoLoop, Engadget; geprueft wurden SL2T-Startumfang, Pixel 11/Gboard/Live Transcribe-Integration, mehr als 100.000 Trainingsstunden, ueber 50 Gebaerdensprachen, 70-BLEURT-Benchmarkumfang, MediaPipe-Holistic-Landmarkfluss und erste ASL-zu-Englisch-Abdeckung.