Ngày 13/11, Tencent Hunyuan công bố mô hình giọng nói thời gian thực Hy Realtime, đảm nhiệm phần nghe và nói trong các cuộc gọi thoại. Thế hệ này có thêm hai khả năng: gọi công cụ ngay giữa cuộc trò chuyện (hiện chủ yếu là quyết định có cần tìm kiếm trên web hay không) và hát trực tiếp bài hát mà người dùng yêu cầu bằng lời nói.
Mô hình đã chạy trong cuộc gọi thoại của Yuanbao và trên hệ thống chăm sóc khách hàng của Tencent. Người dùng Yuanbao chỉ cần cập nhật lên phiên bản mới nhất, vào cuộc gọi thoại và chọn giọng "Chuyu" để trải nghiệm; Tencent còn mở một bản demo trên web với một phần tính năng. API dành cho nhà phát triển phải chờ Tencent Cloud, và phía chính thức chỉ nói là "trong thời gian tới".
Nghe được nửa câu vẫn tìm kiếm được
Nhóm Hunyuan đặt trọng tâm của đợt cải tiến này vào khả năng "nghe hiểu". Trong các cuộc gọi thực tế, người dùng thường nói ngọng, bỏ lửng câu hoặc đổi ý giữa chừng, nên mô hình phải dựa vào ngữ cảnh trước đó để bổ sung ý định. Phía Tencent cho biết độ chính xác khi hiểu những đầu vào không đầy đủ như vậy "tăng rõ rệt" và ngữ cảnh vẫn được giữ ổn định trong các cuộc hội thoại nhiều lượt kéo dài, nhưng không đưa ra con số cụ thể.
Về gọi công cụ, bài công bố viết khá dè dặt: mô hình tự dựa vào ngữ cảnh để quyết định có cần tìm kiếm trên web không, và gộp việc ra quyết định tìm kiếm, gọi công cụ và sinh câu trả lời vào cùng một quy trình. Ở giai đoạn học tăng cường, nhóm mở rộng mục tiêu phần thưởng từ "đáp án cuối cùng có đúng không" sang toàn bộ quá trình gọi, đồng thời giảm trọng số theo bậc đối với những lần truy xuất thừa. Khi người dùng chỉ buột miệng hỏi thời tiết hay tỷ số, mô hình không nên lần nào cũng chạy đi tìm kiếm; thiết kế này nhắm đúng tình huống đó.
Tính năng hát được phát triển cùng nhóm AI Lingyin của Tencent Music (TME). Người dùng có thể gọi bài theo tổ hợp ca sĩ, album, thể loại, ngôn ngữ, năm phát hành và độ phổ biến, chẳng hạn "cho tôi một bài folk tiếng Anh trong giai đoạn 2010 đến 2020"; mô hình tìm bài phù hợp rồi hát ngay. Về hiệu quả, Tencent chỉ nói rằng trong thử nghiệm A/B nội bộ với chuyên gia, mô hình có "lợi thế rõ rệt"; chi tiết đánh giá không được công khai.
Những con số kiểm chứng được trong bài công bố
Phần kỹ thuật tiết lộ không nhiều thông tin định lượng, trong đó có ba điểm khá cụ thể:
- Giai đoạn tiền huấn luyện dùng dữ liệu giọng nói cỡ hàng chục triệu giờ, với nhiệm vụ mở rộng từ nhận dạng giọng nói đơn thuần sang hiểu âm thanh, hiểu âm nhạc và dịch giọng nói;
- Đi kèm là 51 bộ đánh giá thuần văn bản và hơn 50 bộ đánh giá giọng nói, dùng để theo dõi xem "trí tuệ văn bản" có bị suy giảm khi chuyển sang giọng nói hay không;
- Ở giai đoạn tinh chỉnh có giám sát, quy trình dữ liệu viết lại theo văn nói được làm lại, đưa tỷ lệ giữ lại hiệu quả của dữ liệu văn bản chất lượng cao khi chuyển sang tác vụ giọng nói từ 21% lên 69%.
Con số cuối cùng ứng với căn bệnh cũ của các mô hình giọng nói đầu-cuối: cùng một nền tảng, câu hỏi trả lời đúng khi gõ chữ lại bị trả lời nông hơn khi chuyển sang giọng nói. Cách làm của Tencent là để mô hình văn bản Hunyuan và mô hình Agent giọng nói cùng đóng vai "thầy", hướng dẫn Hy Realtime theo một tỷ lệ được kiểm soát. Phía sinh giọng dùng giải pháp phát trực tuyến, vừa ra văn bản vừa tổng hợp tiếng nói, nhằm giảm độ trễ phản hồi đầu tiên; độ trễ cụ thể là bao nhiêu mili giây thì phía chính thức cũng không nêu.
Ý nghĩa với người dùng trong nước
Các cổng gọi thoại AI được dùng nhiều nhất ở Trung Quốc về cơ bản nằm trong ứng dụng trợ lý của các hãng lớn. Hy Realtime xuất hiện trước tiên trên Yuanbao và hệ thống chăm sóc khách hàng của Tencent, lộ trình khá rõ: dùng lượng cuộc gọi thật của sản phẩm nhà để mài mô hình, rồi bán qua Tencent Cloud cho doanh nghiệp làm chăm sóc khách hàng, huấn luyện đối thoại, xe hơi và thiết bị thông minh.
Với người dùng phổ thông, thay đổi dễ thấy nhất là cuộc gọi thoại của Yuanbao có thêm trò gọi bài hát, và khi tra cứu thông tin mô hình cũng chủ động tìm kiếm trên web hơn. Với nhà phát triển doanh nghiệp, những điều cần theo dõi còn ở phía sau: cách tính giá khi API mở, có hỗ trợ giọng đọc tùy chỉnh hay không, tính năng hát có vào API hay không, và bản quyền bài hát được xử lý ra sao. Bài công bố không đề cập các mục này; phải đợi trang sản phẩm của Tencent Cloud lên mới xác nhận được.
Nhóm Hunyuan liệt kê các hướng tiếp theo gồm tương tác song công, trí nhớ cá nhân hóa dài hạn và phối hợp Agent giữa tiền cảnh và hậu cảnh. Song công nghĩa là người dùng và mô hình có thể nói cùng lúc và ngắt lời nhau bất cứ khi nào; các sản phẩm giọng nói thời gian thực trên thị trường hiện vẫn đang trau chuốt điểm này, và lần này Tencent cũng không tuyên bố đã làm được.
Nguồn tham khảo: bài công bố chính thức của Tencent Hunyuan, mô tả tính năng cuộc gọi thoại trong ứng dụng Yuanbao, CocoLoop, bản demo web của Tencent Cloud; tỷ lệ giữ lại 21% và 69% cũng như số bộ đánh giá đều theo số liệu trong bài công bố của Tencent Hunyuan.