Le 20 août, SenseTime a marqué la version officielle de SenseNova-U1.5-8B-MoT sur GitHub, sous licence Apache 2.0, les poids ayant été publiés simultanément sur Hugging Face et ModelScope. Cela survient trois semaines après la version Preview du 31 juillet, et moins de quatre mois après la toute première ouverture du code de cette gamme de produits (U1-8B-MoT, le 27 avril de cette année).
La nouvelle version mise sur deux points principaux : la génération d'images en 4K natif, et la réunion de l'édition d'image et du contrôle précis dans un seul modèle.
Un modèle, trois façons de compter les paramètres
D'abord, un détail qui prête facilement à confusion. Le nom du modèle indique 8B ; le README du dépôt précise dans une note que 8B-MoT désigne environ 8 milliards de paramètres de compréhension plus environ 8 milliards de paramètres de génération ; tandis que la fiche du modèle sur Hugging Face indique une échelle de tenseurs de 18 milliards, en précision F32 et BF16.
Les trois chiffres sont exacts, ils comptent simplement des choses différentes. MoT est l'acronyme de Mixture of Transformers ; dans cette architecture de SenseTime, compréhension et génération suivent chacune leur propre tour, qui alternent sur une même séquence. Faut-il additionner la tour de compréhension et la tour de génération, ne rapporter que l'échelle activée, ou les indiquer séparément : il n'existe pour l'instant aucune convention dans le secteur, chaque acteur fait à sa façon sur ses pages de lancement de modèles multimodaux unifiés.
En pratique, pour les développeurs, cela signifie que comparer ces modèles uniquement sur le nombre de paramètres perd de sa valeur de référence. Pour comparer réellement, il faut regarder si le modèle tient sur un seul GPU, combien de temps prend la génération d'une image en 4K, et quel est le pic de mémoire vidéo utilisé. Sur ces points, SenseTime n'a pas donné de repère unifié cette fois sur sa page de lancement.
Génération directe en 4K, pas un agrandissement a posteriori
L'expression 4K natif mérite d'être décomposée. Il existe actuellement deux voies courantes pour obtenir une image en 4K : soit le modèle génère d'abord une image en résolution plus basse, qui est ensuite confiée à un modèle d'agrandissement pour régénérer les détails ; soit le modèle générateur travaille directement à la résolution cible.
La différence entre ces deux voies ne tient pas au nombre final de pixels, mais à la cohérence structurelle. Avec la voie de l'agrandissement, la composition globale est déjà figée dès la phase basse résolution, et l'agrandissement ne peut que compléter les détails ; face à un texte dense, une mise en page complexe ou plusieurs sujets, des décalages apparaissent facilement lors de l'agrandissement. Cette fois, SenseTime a intégré le 4K directement dans la génération ; la formulation officielle affirme obtenir «à la fois la composition d'ensemble et des textures extrêmement fines, des détails microscopiques», et souligne que l'efficacité de génération en 4K a progressé dans cette version.
Parmi les six améliorations visibles pour l'utilisateur listées sur la page de lancement, en dehors du 4K, les cinq autres tournent toutes autour de la contrôlabilité : composition, matières et éclairage des images générées plus proches d'une prise de vue réelle ; l'édition d'image native préserve mieux l'identité du sujet et la structure spatiale ; la lisibilité du texte en chinois et en anglais ainsi que des mises en page complexes comme les infographies et affiches s'améliore ; le suivi d'instructions complexes portant sur le nombre d'objets ou les relations spatiales est plus stable ; on peut utiliser des cadres de détection, des repères visuels et des références multi-images pour un contrôle précis.
Ce dernier point est particulièrement utile pour les équipes qui développent des outils de conception. Utiliser un cadre et des repères pour indiquer «modifier ici» est bien plus pratique que d'ajuster sans cesse un prompt pour décrire une position, et s'intègre aussi plus facilement dans une interface d'édition existante.
Les limites connues affichées sur la page de lancement
Dans la seconde moitié de la fiche du modèle, une section liste cinq problèmes encore non résolus : les détails ont tendance à être trop accentués, le texte dense peut encore comporter des erreurs, le comportement reste instable avec des mises en page contraintes, les détails des personnages manquent de constance, et les modifications complexes peuvent provoquer une dérive.
Dans les documents de lancement des modèles open source chinois, peu d'acteurs exposent volontairement une telle section. Sa fonction ne se limite pas à paraître honnête. Ces cinq points constituent globalement les difficultés communes actuelles de ce type de modèle ; les énoncer permet aux utilisateurs en aval d'économiser une phase d'essais-erreurs, et laisse aussi une base de comparaison pour les versions futures.
Dans la même période a aussi été publié SenseNova-U1.5-8B-MoT-LoRA-8step, une version distillée en 8 étapes à 0,4B de paramètres, destinée aux scénarios sensibles à la latence. Ajoutée à la licence Apache 2.0 — qui autorise un usage commercial et ne comporte pas de clause de contagion — ainsi qu'à la disponibilité sur trois plateformes (GitHub, Hugging Face, ModelScope), cette publication a pratiquement abaissé au maximum les barrières d'accès possibles.
Ce qui reste ramène toujours au même point : des poids ouverts répondent à la question de savoir si l'on peut obtenir le modèle, pas à celle de savoir s'il peut réellement tourner. Une structure à deux tours de 8B plus 8B générant du 4K en direct ne sera pas économe en mémoire vidéo ; le nombre d'équipes qui pourront réellement s'en servir dépendra toujours de la capacité du GPU disponible.
Sources: dépôt GitHub OpenSenseNova/SenseNova-U1, CocoLoop, fiche du modèle Hugging Face, IT Home