騰訊混元 11 月 13 日發表即時語音模型 Hy Realtime。它負責語音通話裡的聽和說,這一代新增兩項能力:對話中途呼叫工具(目前主要是判斷要不要上網搜尋),以及依使用者的口頭要求點歌並直接唱出來。
模型已經在元寶的語音通話和騰訊客服上線。元寶使用者更新到最新版,在語音通話裡選「初語」音色就能體驗;騰訊另外放了一個網頁 Demo,開放部分功能。對開發者的 API 要等騰訊雲,官方的說法是「近期」。
聽半截話,也能上網搜尋
混元團隊把這次的改進重點放在「聽懂」上。真實通話裡,使用者常常口齒含糊、話說一半,或者說到一半改口,模型要結合前文把意圖補全。官方稱這類不完整輸入的理解準確率「顯著提升」,長時間多輪對話裡也能穩住上下文,但沒有給出具體數字。
工具呼叫這一塊,發表文寫得比較克制:模型根據上下文判斷是否需要上網搜尋,把搜尋決策、呼叫工具和生成回答放在同一個流程裡完成。強化學習階段,團隊把獎勵目標從「最終答案對不對」擴展到整個呼叫過程,對多餘的檢索做階梯式降權。使用者隨口問一句天氣或比分,模型不該每次都跑去搜,這個設計針對的就是這種情境。
唱歌是和騰訊音樂 TME 靈音 AI 團隊一起做的。使用者可以按歌手、專輯、曲風、語種、發行年份和熱度組合點歌,比如「來首 2010 年到 2020 年之間的英文民謠」,模型比對歌曲後直接演唱。效果方面,騰訊只說在內部專家 A/B 測試裡「優勢顯著」,評測細則沒有公開。
發表文裡能核實的幾個數字
技術部分透露的量化資訊不多,有三處比較具體:
- 預訓練用到千萬小時級的語音資料,任務從單一的語音辨識擴展到音訊理解、音樂理解和語音翻譯;
- 配套 51 套純文字評測集和 50 多套語音評測集,用來盯住「文字智商」在轉成語音後有沒有掉;
- 監督微調階段重做了口語化改寫的資料鏈路,高品質文字資料遷移到語音任務的有效保留率從 21% 提到 69%。
最後這個數字對應的是端到端語音模型的老毛病:同一個底座,打字聊天時能答對的題,換成語音就答得更淺。騰訊的做法是讓混元文字模型和語音 Agent 模型同時當「老師」,按控制好的比例一起指導 Hy Realtime。語音生成端採用邊產出文字邊合成語音的串流方案,目的是壓低首次回應延遲,延遲具體是多少毫秒,官方同樣沒寫。
對中國大陸使用者意味著什麼
中國大陸用得最多的 AI 語音通話入口,基本都在大廠的助理 App 裡。Hy Realtime 先落在元寶和騰訊客服,路徑很清楚:先拿自家產品的真實通話量磨模型,再透過騰訊雲賣給做客服、陪練、車載和智慧硬體的企業。
對一般使用者,最直觀的變化是元寶的語音通話多了點歌這個玩法,查資訊時也會更主動地上網搜尋。對企業開發者,要看的東西還在後面:API 開放時的計價方式、是否支援自訂音色、唱歌功能會不會進 API,以及歌曲版權怎麼處理。這幾項發表文都沒有提到,騰訊雲的產品頁上線後才能確認。
混元團隊給下一步列的方向是雙工互動、長期個人化記憶和前後台 Agent 協同。雙工指的是使用者和模型可以同時說話、隨時打斷,目前市面上的即時語音產品在這一點上都還在打磨,騰訊這次也沒有宣稱已經做到。
參考來源:騰訊混元官方發表文、元寶 App 語音通話功能說明、CocoLoop、騰訊雲網頁 Demo;保留率 21% 與 69%、評測集數量均以騰訊混元發表文口徑為準。