StepFun merilis rangkaian StepAudio 3 pada 15 September, meluncurkan lima model sekaligus: StepAudio 3 Realtime, ASR, TTS, Gen, dan Music — semuanya kini aktif di platform terbuka StepFun.
Menurut peringkat lembaga evaluasi pihak ketiga Artificial Analysis, Realtime meraih skor komposit 98,9% di kategori Conversational Dynamics dan menempati posisi pertama; di papan peringkat Speech Reasoning dari lembaga yang sama, akurasi penalaran suaranya mencapai 99,7%, juga peringkat pertama. ASR mencatat tingkat kesalahan kata 1,7% di papan peringkat akurasi pengenalan suara non-streaming, setara peringkat pertama.
Lima model, lima peran
Pembagian tugasnya kurang lebih seperti ini: Realtime menangani percakapan real-time dua arah penuh (full-duplex), bernalar langsung pada suara tanpa mengubahnya ke teks terlebih dahulu; ASR menyatukan pemahaman semantik model besar ke dalam proses pengenalan, dan menurut StepFun mampu menangani dialek, campuran bahasa Mandarin-Inggris, serta kosakata khusus bidang tertentu; TTS menghasilkan sintesis setara suara manusia yang tidak hanya melafalkan kata dengan benar, tetapi juga menirukan jeda dan nada bicara; Gen menggabungkan suara manusia, efek suara, suara lingkungan, dan musik latar dalam satu antarmuka pembuatan; Music mendukung penciptaan interaktif multi-putaran dan memungkinkan kontrol melodi langsung menggunakan notasi ABC.
Dari kelima model, yang paling menunjukkan kemampuan teknis adalah “penalaran suara native” pada Realtime. Cara konvensional mengubah suara ke teks, bernalar pada teks, lalu mengubahnya kembali ke suara — tiga tahap yang disambung, di mana nada, tekanan, dan emosi sudah hilang sejak tahap pertama. Dengan melewati tahap transkripsi, model punya peluang memahami apakah kalimat “kamu hebat sekali” itu pujian tulus atau sindiran.
Rilis ini sama sekali tidak menyebutkan apakah model-model tersebut akan bersifat open source maupun skema tarifnya.
Cara membaca angka 1,7% ini
Tingkat kesalahan kata 1,7% adalah hasil dalam mode non-streaming, dan syarat ini tidak boleh diabaikan. Non-streaming berarti model menerima seluruh klip audio terlebih dahulu sebelum mentranskripsikannya, sehingga bisa melihat konteks sebelum dan sesudahnya sekaligus; sementara streaming mengharuskan model menghasilkan teks sambil mendengarkan, hanya bisa melihat bagian yang sudah lewat, sehingga tingkat kesalahannya biasanya jauh lebih tinggi. Membandingkan angka dari kedua mode ini secara langsung tidak ada gunanya.
Istilah “setara peringkat pertama” juga membawa informasi tersendiri. Artinya posisi ini tidak dipegang sendirian — setidaknya ada satu model lain yang berhenti di titik desimal yang sama, menunjukkan bahwa di kategori pengenalan non-streaming, kesenjangan di antara para pemimpin papan peringkat sudah menyempit hingga level tiga angka di belakang koma.
Perbedaan sesungguhnya kemungkinan besar berada di luar papan peringkat: seberapa banyak dialek yang dicakup, seberapa mulus peralihan saat bahasa bercampur, dan apakah istilah khusus bidang tertentu memerlukan konfigurasi tambahan. StepFun menyinggung semua ini, tetapi tidak memberikan angka yang bisa dibandingkan.
Artinya bagi tim-tim di Tiongkok
Kepadatan model suara yang dirilis secara terbuka di Tiongkok tahun ini terbilang tinggi. Hunyuan milik Tencent merilis AuK sebagai open source, Xiaomi merilis model pengenalan multi-pembicara sebagai open source, dan model suara Qwen kini dilengkapi kemampuan pemanggilan alat (tool calling). Perbedaannya terletak pada pendekatan: kubu open source merilis bobot model yang bisa dimodifikasi siapa saja; sementara lima model StepFun kali ini langsung dipasang di platform terbuka miliknya sendiri dan diakses lewat API — ambang masuk yang lebih rendah bagi tim yang tidak berencana membangun klaster inferensi sendiri, dengan konsekuensi model berjalan di server milik pihak lain.
Bagi tim yang membangun produk suara, keputusan untuk mengadopsi biasanya bergantung pada tiga hal lain: seberapa rendah latensi end-to-end Realtime bisa ditekan dalam hitungan milidetik, apakah warna suara TTS bisa disesuaikan, dan apakah efek suara yang dihasilkan Gen memiliki lisensi untuk penggunaan komersial. Ketiga hal ini tidak disebutkan dalam rilis, sehingga tim harus menunggu dokumentasi resmi platform terbuka tersebut.
Sumber: rilis resmi StepFun, CocoLoop, papan peringkat Artificial Analysis, ITHome; nama kelima model, metodologi penilaian Conversational Dynamics dan Speech Reasoning, serta tingkat kesalahan kata non-streaming mengacu pada rilis resmi dan halaman papan peringkat.