Pada 30 Maret, tim Qwen Alibaba meluncurkan Qwen3.5-Omni, model all-modal pertama mereka yang sesungguhnya—teks, gambar, audio, dan video semuanya diproses dalam satu model, bukan sekadar gabungan beberapa model khusus.
Satu Model, Empat Modalitas
Sebagian besar sistem multimodal di pasar selama ini mengandalkan "pembagian kerja": satu model untuk visual, satu model untuk audio, dan model teks untuk menyatukan keluaran. Qwen3.5-Omni berbeda, menggunakan arsitektur ganda Thinker-Talker dengan MoE attention hibrida (total 30B parameter, 3B diaktifkan per langkah), di mana semua modalitas berjalan dalam satu set parameter yang sama.
Ini memungkinkan kemampuan yang sebelumnya tidak mungkin:
- Pemahaman audio-video terpadu: Setelah menonton video, model dapat menjawab dengan menggabungkan konten visual dan suara dialog, tanpa perlu mentranskripsi audio terlebih dahulu lalu menganalisis video secara terpisah.
- Kloning suara real-time: Unggah sampel suara, dan model dapat meniru suara tersebut untuk keluaran selanjutnya (saat ini tersedia melalui API).
- Audio-video Vibe Coding: Rekam narasi layar, dan Qwen3.5-Omni langsung menghasilkan kode yang sesuai tanpa perlu mengetik.
Sekilas Spesifikasi
| Spesifikasi | Nilai |
|---|---|
| Total Parameter | 30B MoE |
| Parameter yang Diaktifkan per Langkah | 3B |
| Jendela Konteks | 256K token |
| Durasi Pemrosesan Audio Maksimal | 10+ jam |
| Pemrosesan Video Maksimal | 400 detik 720p @1FPS |
| Bahasa Pengenalan Suara | 113 bahasa |
| Bahasa Keluaran Suara | 36 bahasa |
Tiga versi: Plus (tugas kompleks unggulan), Flash (keseimbangan kecepatan dan performa), dan Light (ringan dan cepat).
Performa Tolok Ukur
Model ini mencapai SOTA di 215 kumpulan data dan tolok ukur, dengan performa audio langsung melampaui Gemini 3.1 Pro:
- Pemahaman Audio Komprehensif MMAU: 82,2 vs. Gemini 3.1 Pro 81,1
- Pemahaman Musik RUL-MuchoMusic: 72,4 vs. 59,6, selisih signifikan
- Stabilitas Kloning Suara Multibahasa: Melampaui ElevenLabs, GPT-Audio, dan Minimax
Latensi percakapan real-time ditekan menjadi 234 milidetik, menggunakan teknologi ARIA (Adaptive Rate Interleave Alignment) untuk menyesuaikan ritme bicara secara dinamis, menghasilkan keluaran yang lebih alami, bukan pembacaan mekanis.
Kemampuan umum juga tidak menurun: pemahaman visual MMMU 82,0%, kode HumanEval 92,6%, dan tingkat kesalahan kata pengenalan suara LibriSpeech 1,7%, semuanya berada di jajaran terdepan.
Lanskap AI Suara Sedang Berubah
ElevenLabs telah lama menjadi tolok ukur dalam kloning suara, tetapi Qwen3.5-Omni telah melampauinya dalam stabilitas suara multibahasa. Yang lebih penting, model ini menjadikan kloning suara sebagai fitur bawaan dari model multimodal yang komprehensif, bukan produk vertikal yang berdiri sendiri.
Tentu saja, kloning suara saat ini hanya tersedia melalui API dan belum masuk ke antarmuka produk, kemungkinan menunggu laju komersialisasi sebelum dibuka lebih luas.
Data pelatihan model ini mencakup lebih dari 100 juta jam konten audio dan video—skala yang diperlukan untuk mendukung pemahaman lintas-modal yang sesungguhnya.
Fitur audio-video Vibe Coding merupakan arah yang menarik: sebelumnya Vibe Coding melibatkan deskripsi kebutuhan dalam bahasa alami; sekarang, cukup merekam video penjelasan di layar, dan model menonton video lalu menulis kode. Jika jalur ini terbukti layak, ini bisa menjadi paradigma interaksi pemrograman yang sangat berbeda.
Sumber: Qwen 3.5 Omni: Alibaba's AI Model Can Now Hear, Watch, and Clone Your Voice (Decrypt); Qwen3.5-Omni: 10-Hour Audio, 4M Frame Video, SOTA in 215 Benchmarks (StableLearn); CocoLoop; Alibaba Qwen Team Releases Qwen3.5 Omni (MarkTechPost)