Pixel 11 có thêm một cách nhập liệu không dựa vào giọng nói. Người dùng ký hiệu bằng American Sign Language, rồi Gboard hoặc Live Transcribe chuyển thành văn bản tiếng Anh.
Google DeepMind công bố SL2T vào ngày 12 tháng 8. Bản đầu tiên hỗ trợ ASL sang tiếng Anh trên Pixel 11, sau đó sẽ mở rộng sang thiết bị và ngôn ngữ khác. Người dùng có thể ký hiệu để tìm kiếm web, viết tin nhắn, soạn tài liệu, hỏi Gemini hoặc trả lời trong Live Transcribe.
Ngôn ngữ ký hiệu không phải tiếng Anh trên bàn tay
Ngôn ngữ ký hiệu là ngôn ngữ tự nhiên độc lập, có ngữ pháp, từ vựng, nét mặt và cấu trúc không gian riêng. Vì vậy SL2T được thiết kế như một mô hình dịch, không phải bộ nhận dạng cử chỉ từng khung hình.
DeepMind cho biết SL2T được huấn luyện trên hơn 100.000 giờ dữ liệu từ hơn 50 ngôn ngữ ký hiệu, khoảng một phần tư là ASL. Trên bài đánh giá FLEURS-ASL cho ASL sang tiếng Anh, mô hình đạt 70 BLEURT ở chế độ zero-shot. Khoảng 70 triệu người Điếc và khiếm thính trên toàn cầu sử dụng ngôn ngữ ký hiệu.
Quyền riêng tư bắt đầu từ điểm mốc cơ thể
SL2T không gửi trực tiếp video camera thô để dịch. Mô hình MediaPipe Holistic trên thiết bị theo dõi các điểm mốc cơ thể, rồi chuỗi tọa độ được dịch trên máy chủ. Cách này giảm bề mặt dữ liệu so với tải lên toàn bộ video, dù dữ liệu tư thế vẫn cần được quản lý cẩn thận.
Tính hữu dụng thực tế nằm ngoài điểm benchmark. Google nói nhóm đã xử lý độ trễ phát trực tiếp, ảo giác khi đầu vào không phải ký hiệu, người thuận tay trái và ký hiệu một tay khi đang cầm điện thoại.
Cần theo dõi điều gì
Phạm vi đầu tiên còn hẹp: ASL sang tiếng Anh trên Pixel 11. Tín hiệu tiếp theo là liệu Google có mở rộng được sang nhiều ngôn ngữ ký hiệu hơn, đặc biệt là các ngôn ngữ ít dữ liệu. Một tín hiệu khác là liệu nhập liệu bằng ký hiệu có trở thành lớp tiếp cận chung cho cuộc gọi, giáo dục, chăm sóc khách hàng và quy trình AI hay không.
SL2T không chỉ là một tính năng AI trên điện thoại. Nó gắn quy mô mô hình, khả năng tiếp cận, kiến trúc quyền riêng tư và dữ liệu ngôn ngữ thiểu số vào một thử nghiệm sản phẩm.
Nguồn: công bố chính thức của Google DeepMind, tài liệu benchmark FLEURS-ASL, SiliconANGLE, CocoLoop, Engadget; đối chiếu phạm vi ra mắt SL2T, tích hợp Pixel 11/Gboard/Live Transcribe, hơn 100.000 giờ dữ liệu huấn luyện, hơn 50 ngôn ngữ ký hiệu, phạm vi 70 BLEURT, luồng điểm mốc MediaPipe Holistic và hỗ trợ ban đầu ASL sang tiếng Anh.