テンセントのWeChat Visionチームは、汎用マルチモーダル埋め込みモデル群「WeMM-Embedding」をオープンソースとして公開した。コードと重みはGitHubとHugging Faceに同時掲載され、技術レポートはarXiv 2608.24053として登録、コード部分はApache 2.0ライセンスを採用している。
埋め込みモデルの役割は、コンテンツを1本のベクトルに圧縮し、類似したもの同士をベクトル空間上で近くに配置することだ。検索、重複排除、レコメンドはこの仕組みに支えられている。WeMM-Embeddingがカバーする範囲は同種のモデルより広く、テキスト、画像、動画、ビジュアル文書、さらにこれらを任意に混在させた入力まで、すべて同じ表現空間で扱える。音声には今のところ対応していない。
3サイズでランキング首位に
シリーズは2B、4B、9Bの3サイズを用意する。MMEB-v2の78個のデータセットにおいて、2Bモデルは総合77.9点(画像79.6、動画70.8、ビジュアル文書80.7)、4Bモデルは79.2点、9Bモデルは80.6点を記録し、公式リーダーボードで首位に立った。掲載されているオープンソース・クローズドソースのすべてのモデルを上回っている。
横並びで比較すると、その位置づけがより鮮明になる。2B版はQwen3-VL-Embedding-2Bより4.7点、DME-2Bより3.1点上回り、さらにパラメータ数が4倍あるQwen3-VL-Embedding-8Bもわずかに上回った。この種のタスクでは、学習レシピとデータの質の重みが、単純なパラメータ規模をすでに上回っている。
学習は2段階で行う。まず大規模なマルチモーダル・アライメントを行い、次に厳選データによる精密チューニングを施す。この後段では、きめ細かい関連性の教師信号とスケールをまたいだ知識転移が加えられており、大規模モデルが学んだ内容を小規模モデルに移すこの仕組みが、2Bモデルが格上を超える一因になっている。
次元は削れる
3サイズすべてがMatryoshka表現に対応しており、出力次元は64から2048または4096まで自由に選べる。公式データによれば、MMEB-v2で256次元まで削っても、画像・動画タスクでは全次元時の98.7%の性能を維持できるという。
この点はランキング以上にエンジニアリング面での意味が大きい。ベクトルデータベースの保存・検索コストは次元数にほぼ比例するため、2048次元を256次元まで落とせばインデックスのサイズは8分の1になり、検索時の距離計算量もそれに応じて下がる。従来はこれを実現するために小型モデルを別途学習するか、次元削減層を外付けする必要があったが、今では同じ重みから前段だけを取り出せばよい。実装面では、埋め込みは最終層の専用トークン<embedding>の位置の隠れ状態から取り出し、L2正規化を施している。
すでに本番トラフィックで稼働
技術レポートでは、社内の26タスクからなる評価セットと、WeChatの各事業で実施した14グループのオンラインA/B実験について触れており、いずれも一貫した改善が確認されたという。これらの数値は外部からは検証できないが、モデルがベンチマーク上のスコア稼ぎにとどまっていないことを示している。WeChatの検索(捜一捜)、動画アカウント(視頻号)、公式アカウントのコンテンツ検索は、その規模自体がすでに実運用レベルの負荷試験になっている。
制約も明記されている。音声入力には対応しておらず、評価コードでは動画を64フレームでサンプリングしている。長尺動画や音声・映像を組み合わせた検索を扱うには、別途レイヤーを追加する必要がある。
国内でマルチモーダルRAGに取り組むチームにとっては、9Bモデルの首位獲得以上に、2B規模の実用性の方が重みを持つ。おおまかな試算では、2Bモデルに256次元出力を組み合わせれば、1枚のGPUで数千万件規模の画像・テキストインデックスを運用できる。クローズドソースAPIに依存していたこれまでとは、コスト構造がまったく異なる。コードのApache 2.0ライセンスも、商用利用のハードルを大きく下げている。
参考資料: Tencent/WeMM-Embeddingオープンソースリポジトリ、arXiv技術レポート2608.24053、Hugging Faceモデルページ、CocoLoop;MMEB-v2の各サイズのスコア、Matryoshkaの次元幅、オンラインA/B実験のグループ数は公式リポジトリと技術レポートの記載に基づく。