Asisten AI sering gagal di dua hal: menyela sebelum pengguna selesai bicara, atau terlalu lambat karena harus melewati rangkaian ASR, visi, dialog, dan suara sintetis.
ByteDance Seed merilis SeedRealtime pada 5 Agustus dan menyebut model audiovisual full-duplex native ini sudah tersedia penuh di aplikasi Doubao. Pengguna dapat memperbarui Doubao, memilih "call" di kotak percakapan, lalu masuk ke antarmuka panggilan video yang menerima gambar, suara, dan teks secara bersamaan.
Pintu masuknya adalah berita
Phoenix Tech dan IT Home sama-sama mengonfirmasi status peluncuran serta akses lewat fitur panggilan Doubao. Ini membedakannya dari demo multimodal yang hanya tinggal di halaman proyek.
Klaim teknis resminya adalah arsitektur end-to-end terpadu. Alih-alih merangkai ASR, model visi, model dialog, TTS, dan aturan VAD, SeedRealtime dirancang untuk melihat, memahami, memutuskan, dan menjawab dalam aliran multimodal yang kontinu.
“我们希望，AI 交互不再局限于清晰轮次中的问答。”
Angka paling jelas harus dibaca sesuai batasnya: evaluasi manusia end-to-end menunjukkan masalah ritme dialog audiovisual berkurang setengah dibanding sistem bertingkat. Ini mencakup interupsi, respons terlambat, dan pemicu keliru oleh kebisingan latar, bukan benchmark latensi publik.
Yang sulit adalah tahu kapan diam
Contoh resmi mencakup mengenali pembicara di makan malam bersama, menjelaskan menu China kepada turis asing, mengingatkan objek museum, memperbaiki cara memakai mesin kopi, dan berhenti pada bagian tertentu saat pengguna membolak-balik makalah ResNet.
Semua contoh itu menguji satu hal: apakah model bisa menghubungkan apa yang dilihat dengan apakah ia perlu bicara. Dalam panggilan video, asisten harus mengabaikan percakapan latar, mengingat informasi yang baru dilihat, dan masuk hanya saat dibutuhkan.
Ujian berikutnya
Di pasar China, pintu masuk ini penting. Pengguna lebih mungkin mengarahkan ponsel ke menu, peralatan rumah, bahan belajar, rambu jalan, atau dokumen kerja. Jika "lihat sambil bicara" stabil di Doubao, ByteDance mendapat umpan balik penggunaan yang lebih kaya daripada chatbot teks.
Batasnya juga jelas. ByteDance menyebut latensi end-to-end yang lebih rendah, persepsi dan keputusan yang lebih proaktif, skenario banyak orang yang lebih stabil, serta pemanggilan alat sebagai pekerjaan berikutnya. Ukuran nyatanya adalah latensi, salah picu, stabilitas rujukan antar-orang, dan penyelesaian tugas.
Sumber: blog teknis ByteDance Seed, Phoenix Tech, IT Home, CocoLoop; verifikasi mencakup pintu masuk aplikasi Doubao, arsitektur end-to-end terpadu, tiga kemampuan inti, klaim evaluasi manusia bahwa masalah ritme turun setengah, dan arah optimasi berikutnya.