Ngày 9/11, Zyphra, công ty mô hình giọng nói có trụ sở tại San Francisco, đã mở mã nguồn ZONOS3-Mini. Đây là mô hình chuyển văn bản thành giọng nói (TTS) theo kiến trúc hỗn hợp chuyên gia thưa (MoE), tổng cộng 800 triệu tham số, mỗi lần suy luận chỉ kích hoạt 100 triệu. Giấy phép là Apache 2.0, cho phép dùng thương mại. Trọng số được đăng trên Hugging Face và GitHub, dịch vụ đám mây của chính Zyphra cũng ra mắt đồng thời, và trang web chính thức có thêm một trang cho phép nghe thử ngay trong trình duyệt cục bộ.
Thế hệ trước, ZONOS2, có 8 tỷ tham số và tốc độ khung của codec là 86 Hz. Ở thế hệ này, số tham số giảm một bậc độ lớn, và nhóm phát triển dồn trọng tâm vào phạm vi triển khai:
"we release runtimes for browsers via WebGPU, servers via SGLang and vLLM, as well as many others through GGML"
(Chúng tôi phát hành runtime cho trình duyệt thông qua WebGPU, hỗ trợ máy chủ qua SGLang và vLLM, cùng nhiều runtime khác dựa trên GGML.)
Độ trễ và quy mô huấn luyện
Hãng công bố hai số liệu độ trễ. Trong trình duyệt trên điện thoại Pixel 9, từ lúc nhập văn bản đến khi nghe thấy đoạn âm thanh đầu tiên mất chưa đến 570 mili giây; trên MacBook Air chip M3, con số này chưa đến 150 mili giây. Zyphra cho biết mô hình có thể chạy thời gian thực trên cả những chiếc điện thoại đời cũ vài năm trước, nhưng không công bố giá trị cụ thể của hệ số thời gian thực (RTF).
Quá trình huấn luyện dùng 112 GPU NVIDIA H100, chạy trong 2,5 ngày. SGLang và vLLM phía máy chủ được hỗ trợ ngay trong ngày phát hành, còn các thiết bị khác có thể dùng runtime C++ gốc của GGML.
Những gì có thể điều khiển
Nhân bản giọng nói hỗ trợ zero-shot với hai cách làm. Cách thứ nhất là đưa các đoạn âm thanh độc lập vào ngữ cảnh ngay từ lúc tiền huấn luyện, cho giọng tự nhiên hơn nhưng không sao chép chính xác nhịp điệu của giọng gốc. Cách thứ hai là dùng trực tiếp biểu diễn giọng của âm thanh mục tiêu rồi tinh chỉnh ngắn một lần. Bộ mã hóa người nói đã được đổi từ giải pháp của Qwen3-TTS sang MECT-B2.
Các chiều có thể điều chỉnh chia thành ba lớp. Lớp danh tính gồm độ tuổi, giới tính, giọng vùng miền và chất giọng; lớp biểu cảm gồm tốc độ nói, cảm xúc, độ phóng giọng và độ sôi nổi; đi sâu hơn nữa, có thể điều khiển đến cấp độ từng từ nhờ các đầu chú ý căn chỉnh. Nhóm phát triển còn phát hành thêm một mô hình chỉnh sửa giọng nói dựa trên VoiceCraft, dùng để sửa nội dung cục bộ trong bản ghi âm.
Bảng xếp hạng đến từ bộ đánh giá nội bộ
Zyphra đánh giá bằng bộ ZTTS2-Eval do chính hãng xây dựng: tập sạch bao phủ 35 ngôn ngữ, tập ngoài thực tế bao phủ 20 ngôn ngữ; chỉ số năng lực tổng hợp Zyphra TTS Capability Index v1 gồm 420 mục. Theo chỉ số này, ZONOS3-Mini đứng đầu trong các mô hình mã nguồn mở, tiếp theo là Fish S2 Pro và MOSS TTS v1.5.
Trang công bố chỉ đưa ra đường cong Pareto giữa độ trễ và thông lượng, không liệt kê điểm số cụ thể của từng mô hình, và bản thân ZONOS3-Mini hỗ trợ những ngôn ngữ nào cũng không được ghi riêng. Hai đơn vị xếp thứ hai và thứ ba hiện cũng chưa phản hồi về bảng xếp hạng này.
Với lập trình viên Trung Quốc
Hai dòng Fish và MOSS có khá nhiều người dùng trong cộng đồng tổng hợp giọng nói mã nguồn mở ở Trung Quốc, và cả hai đều có mặt trong danh sách so sánh của ZONOS3-Mini. Tuy nhiên, dù bộ đánh giá bao phủ 35 ngôn ngữ, điểm riêng cho tiếng Trung chưa được công bố; chất lượng với chữ đa âm, âm cuối “r” (âm uốn lưỡi) của tiếng Quan Thoại hay tiếng Quảng Đông chỉ có thể tự tải về để thử.
Phía trình duyệt chạy bằng WebGPU, nên các tình huống như đọc trang web hay lồng tiếng bài giảng trực tuyến có thể không cần gửi văn bản của người dùng lên máy chủ, thuận tiện hơn cho các dự án có yêu cầu tuân thủ dữ liệu. Truy cập Hugging Face từ Trung Quốc không ổn định, nên tải trọng số có thể phải nhờ đến trang gương. Apache 2.0 giúp tránh rắc rối về cấp phép thương mại, nhưng nhân bản giọng nói và chỉnh sửa giọng nói tại Trung Quốc thuộc dịch vụ tổng hợp sâu, trước khi triển khai vẫn phải theo quy định để có sự cho phép của người bị nhân bản và gắn nhãn nhận diện rõ ràng.
Nguồn tham khảo: trang phát hành mô hình chính thức của Zyphra, CocoLoop; đã đối chiếu quy mô tham số, giấy phép, độ trễ âm thanh đầu tiên trên trình duyệt và laptop, sức mạnh tính toán huấn luyện cùng thứ hạng đánh giá.