Tim WeChat Vision milik Tencent merilis WeMM-Embedding sebagai open source, yaitu sekumpulan model embedding multimodal serbaguna. Kode dan bobot modelnya diunggah bersamaan ke GitHub dan Hugging Face, laporan teknisnya terdaftar sebagai arXiv 2608.24053, dan bagian kodenya menggunakan lisensi Apache 2.0.
Tugas model embedding adalah memampatkan konten menjadi satu rangkaian vektor, sehingga hal-hal yang mirip berada berdekatan dalam ruang vektor — retrieval, deduplikasi, dan rekomendasi semuanya bergantung pada mekanisme ini. Cakupan WeMM-Embedding lebih luas dibanding kebanyakan model sejenis: teks, gambar, video, dokumen visual, hingga kombinasi acak dari input-input tersebut, semuanya diproses melalui satu representasi yang sama. Audio untuk sementara belum didukung.
Tiga Ukuran, Puncaki Papan Peringkat
Rangkaian model ini hadir dalam tiga ukuran: 2B, 4B, dan 9B. Pada 78 dataset di MMEB-v2, model 2B meraih skor gabungan 77,9 (gambar 79,6, video 70,8, dokumen visual 80,7), model 4B mencatat 79,2, dan model 9B mencapai 80,6 — menempati posisi pertama di papan peringkat resmi, mengungguli seluruh model open source maupun closed source yang tercantum di sana.
Perbandingan langsung membuat posisinya semakin jelas. Versi 2B unggul 4,7 poin dibanding Qwen3-VL-Embedding-2B, dan 3,1 poin dibanding DME-2B, sekaligus sedikit mengungguli Qwen3-VL-Embedding-8B yang parameternya empat kali lebih besar. Dalam jenis tugas seperti ini, bobot resep pelatihan dan kualitas data sudah melampaui sekadar skala parameter.
Pelatihan dilakukan dalam dua tahap: alignment multimodal berskala besar terlebih dahulu, lalu penyempurnaan menggunakan data terkurasi. Pada tahap penyempurnaan ditambahkan supervisi relevansi berbutir halus dan transfer pengetahuan lintas skala — mentransfer apa yang dipelajari model besar ke model yang lebih kecil, yang juga menjadi salah satu sebab model 2B bisa melampaui model yang lebih besar.
Dimensi Bisa Dipangkas
Ketiga ukuran model ini mendukung representasi Matryoshka, dengan dimensi output yang bisa dipilih mulai dari 64 hingga 2048 atau 4096. Data resminya menunjukkan bahwa pada MMEB-v2, memangkas ke 256 dimensi masih mempertahankan 98,7% performa dibanding dimensi penuh untuk tugas gambar dan video.
Hal ini punya bobot lebih besar bagi sisi rekayasa dibanding sekadar peringkat. Biaya penyimpanan dan retrieval pada basis data vektor kurang lebih berbanding lurus dengan jumlah dimensi, sehingga memangkas dari 2048 dimensi menjadi 256 dimensi membuat ukuran indeks menyusut menjadi seperdelapannya, dan perhitungan jarak saat tahap recall pun ikut berkurang. Sebelumnya, untuk mencapai hal ini perlu melatih model kecil terpisah atau menambahkan lapisan reduksi dimensi tersendiri; sekarang, dari bobot model yang sama, cukup mengambil beberapa segmen awalnya saja. Secara implementasi, embedding diambil dari hidden state pada posisi token khusus <embedding> di lapisan terakhir, lalu dinormalisasi dengan L2.
Sudah Berjalan di Lalu Lintas Produksi
Laporan teknis menyebutkan adanya set evaluasi internal berisi 26 tugas, serta 14 kelompok eksperimen A/B langsung di berbagai lini bisnis WeChat, yang semuanya menunjukkan peningkatan konsisten. Angka-angka ini tidak bisa direproduksi oleh pihak eksternal, tetapi menunjukkan bahwa model ini tidak berhenti sekadar mengejar skor papan peringkat — skala penggunaan pada fitur pencarian (Sou Yi Sou), Channels (Video Hao), dan retrieval konten Akun Resmi WeChat itu sendiri sudah menjadi uji tekanan yang nyata.
Keterbatasannya juga dijelaskan dengan gamblang: tidak mendukung input audio, dan kode evaluasinya melakukan sampling video pada 64 frame. Untuk menangani video berdurasi panjang atau retrieval gabungan audio-visual, masih diperlukan lapisan tambahan yang dibangun sendiri.
Bagi tim di Tiongkok yang mengerjakan RAG multimodal, kepraktisan tingkat 2B ini justru lebih berbobot dibanding pencapaian puncak model 9B. Hitungan kasarnya, model 2B yang dipasangkan dengan output 256 dimensi bisa menjalankan indeks gambar-teks berskala puluhan juta hanya dengan satu GPU — struktur biaya yang sama sekali berbeda dibanding mengandalkan API closed source. Lisensi Apache 2.0 pada kodenya juga menekan ambang batas untuk penggunaan komersial menjadi sangat rendah.
Sumber: repositori open source Tencent/WeMM-Embedding, laporan teknis arXiv 2608.24053, halaman model Hugging Face, CocoLoop; skor MMEB-v2 per tingkatan, rentang dimensi Matryoshka, dan jumlah kelompok eksperimen A/B mengikuti data dari repositori resmi dan laporan teknis.