Pixel 11 ajoute une voie de saisie qui ne depend pas de la voix. L'utilisateur signe en American Sign Language, puis Gboard ou Live Transcribe transforme cela en texte anglais.
Google DeepMind a presente SL2T le 12 aout. Le premier deploiement couvre l'ASL vers l'anglais sur Pixel 11, avec d'autres appareils et langues prevus. La saisie par signes peut servir aux recherches web, messages, documents, requetes Gemini et reponses dans Live Transcribe.
La langue des signes n'est pas de l'anglais avec les mains
Le point technique central est que les langues des signes sont des langues naturelles independantes, avec leur grammaire, leur lexique, leurs expressions faciales et leur structure spatiale. SL2T est donc un modele de traduction, pas un detecteur de gestes image par image.
Selon DeepMind, SL2T a ete entraine sur plus de 100.000 heures de donnees couvrant plus de 50 langues des signes, dont environ un quart en ASL. Sur FLEURS-ASL pour l'ASL vers l'anglais, Google annonce un score zero-shot de 70 BLEURT. Environ 70 millions de personnes sourdes ou malentendantes utilisent des langues des signes dans le monde.
La confidentialite commence avec les points de pose
SL2T n'envoie pas directement le flux video brut pour traduction. Un modele MediaPipe Holistic sur l'appareil suit les landmarks du corps, puis la sequence de coordonnees est traduite cote serveur. Cela reduit la surface de donnees par rapport a une video complete, meme si les donnees de pose doivent aussi etre protegees.
Le test pratique depasse le benchmark. Google dit avoir travaille sur la latence de streaming, les hallucinations face a des entrees non signees, les personnes gaucheres et les signes a une main lorsque le telephone est tenu de l'autre.
Ce qu'il faut surveiller
Le premier lancement reste limite: ASL vers anglais sur Pixel 11. Le prochain signal sera l'extension a davantage de langues des signes, notamment celles qui disposent de peu de donnees. Un autre point sera de voir si la saisie par signes devient une couche d'accessibilite pour les appels, l'education, le service client et les flux d'IA.
SL2T n'est pas seulement une fonction d'IA de plus sur telephone. Il relie passage a l'echelle des modeles, accessibilite, architecture de confidentialite et donnees de langues minoritaires dans un test produit.
Sources : publication officielle Google DeepMind, documents du benchmark FLEURS-ASL, SiliconANGLE, CocoLoop, Engadget ; verification du perimetre de lancement de SL2T, de l'integration Pixel 11/Gboard/Live Transcribe, des plus de 100.000 heures d'entrainement, des plus de 50 langues des signes, du score 70 BLEURT, du flux de landmarks MediaPipe Holistic et du premier support ASL-anglais.