Pada 13 November, Tencent Hunyuan merilis model suara real-time Hy Realtime. Model ini menangani proses mendengar dan berbicara dalam panggilan suara, dan generasi kali ini menambah dua kemampuan: memanggil alat di tengah percakapan (saat ini terutama untuk menilai perlu tidaknya mencari di web), serta menyanyikan lagu yang diminta pengguna secara lisan.
Model ini sudah aktif di panggilan suara Yuanbao dan di layanan pelanggan Tencent. Pengguna Yuanbao cukup memperbarui aplikasi ke versi terbaru, lalu memilih suara "Chuyu" di panggilan suara untuk mencobanya. Tencent juga menyediakan demo web terpisah yang membuka sebagian kemampuan. API untuk pengembang baru tersedia lewat Tencent Cloud, dan pernyataan resminya hanya "dalam waktu dekat".
Paham meski kalimat terpotong, dan bisa mencari di web
Tim Hunyuan menaruh fokus perbaikan kali ini pada kemampuan "memahami". Dalam panggilan nyata, pengguna sering bicara tidak jelas, berhenti di tengah kalimat, atau mengubah ucapan di tengah jalan, sehingga model harus memakai konteks sebelumnya untuk melengkapi maksudnya. Pihak resmi menyebut akurasi pemahaman untuk input yang tidak lengkap seperti ini "meningkat signifikan" dan konteks tetap terjaga dalam percakapan multi-giliran yang panjang, tetapi tidak memberikan angka konkret.
Soal pemanggilan alat, pengumumannya ditulis cukup hati-hati: model menilai dari konteks apakah perlu mencari di web, lalu menyelesaikan keputusan pencarian, pemanggilan alat, dan pembuatan jawaban dalam satu alur. Pada tahap reinforcement learning, tim memperluas target imbalan dari "apakah jawaban akhirnya benar" menjadi seluruh proses pemanggilan, dan memberi penalti bertahap pada pencarian yang berlebihan. Jika pengguna sekadar menanyakan cuaca atau skor pertandingan, model tidak perlu selalu pergi mencari, dan desain ini ditujukan untuk situasi semacam itu.
Fitur bernyanyi dibuat bersama tim TME Lingyin AI dari Tencent Music. Pengguna dapat memadukan penyanyi, album, genre, bahasa, tahun rilis, dan tingkat popularitas saat meminta lagu, misalnya "putarkan lagu folk berbahasa Inggris antara tahun 2010 sampai 2020", lalu model mencocokkan lagunya dan langsung menyanyikannya. Soal kualitas, Tencent hanya menyebut keunggulannya "signifikan" dalam uji A/B internal oleh para ahli, dan rincian evaluasinya tidak dipublikasikan.
Beberapa angka dalam pengumuman yang bisa diverifikasi
Informasi kuantitatif di bagian teknis tidak banyak, tetapi ada tiga hal yang cukup konkret:
- Pra-pelatihan memakai data suara berskala puluhan juta jam, dengan tugas yang diperluas dari pengenalan suara semata menjadi pemahaman audio, pemahaman musik, dan terjemahan suara;
- Tersedia 51 set evaluasi teks murni dan lebih dari 50 set evaluasi suara, untuk memantau apakah "kecerdasan teks" menurun setelah diubah menjadi suara;
- Pada tahap supervised fine-tuning, jalur data untuk penulisan ulang bergaya lisan dibuat ulang, dan tingkat retensi efektif data teks berkualitas tinggi yang dipindahkan ke tugas suara naik dari 21% menjadi 69%.
Angka terakhir itu menyasar kelemahan lama model suara end-to-end: dengan model dasar yang sama, soal yang bisa dijawab benar saat mengobrol lewat teks akan dijawab lebih dangkal ketika beralih ke suara. Cara Tencent adalah menjadikan model teks Hunyuan dan model agen suara sekaligus sebagai "guru", yang bersama-sama membimbing Hy Realtime dengan rasio yang dikendalikan. Pada sisi pembuatan suara, dipakai skema streaming yang menyintesis suara sambil teks masih dihasilkan, dengan tujuan menekan latensi respons pertama. Berapa milidetik latensinya, pihak resmi juga tidak menuliskannya.
Apa artinya bagi pengguna di Tiongkok
Pintu masuk panggilan suara AI yang paling banyak dipakai di Tiongkok pada dasarnya ada di aplikasi asisten milik perusahaan-perusahaan besar. Hy Realtime lebih dulu hadir di Yuanbao dan layanan pelanggan Tencent, dan arahnya jelas: mengasah model dengan volume panggilan nyata dari produk sendiri, lalu menjualnya lewat Tencent Cloud kepada perusahaan yang membuat layanan pelanggan, pelatihan percakapan, sistem di kendaraan, dan perangkat keras pintar.
Bagi pengguna biasa, perubahan yang paling terasa adalah panggilan suara Yuanbao kini punya fitur permintaan lagu, dan saat mencari informasi asisten juga lebih proaktif mencari di web. Bagi pengembang perusahaan, hal yang perlu dicermati masih di depan: cara penetapan harga saat API dibuka, apakah suara kustom didukung, apakah fitur bernyanyi akan masuk ke API, dan bagaimana hak cipta lagu ditangani. Pengumuman tidak menyinggung satu pun dari hal ini, dan semuanya baru bisa dipastikan setelah halaman produk Tencent Cloud rilis.
Arah berikutnya yang dicantumkan tim Hunyuan adalah interaksi dupleks penuh, memori personal jangka panjang, dan kolaborasi agen latar depan-latar belakang. Dupleks berarti pengguna dan model bisa berbicara bersamaan serta saling menyela kapan saja; produk suara real-time di pasaran semuanya masih menyempurnakan hal ini, dan Tencent kali ini juga tidak mengklaim sudah mencapainya.
Sumber: pengumuman resmi Tencent Hunyuan, dokumentasi fitur panggilan suara aplikasi Yuanbao, CocoLoop, demo web Tencent Cloud; angka retensi 21% dan 69% serta jumlah set evaluasi mengikuti pengumuman Tencent Hunyuan.