Comme promis lors de son lancement le 24 octobre, Moonshot AI a publié sur Hugging Face les poids du modèle Kimi K3.1 Pro, selon ITHome le 5 novembre. Le modèle compte 2 800 milliards de paramètres au total, en active environ 104 milliards par inférence et offre un contexte d'environ 1 million de tokens.
La taille des fichiers de poids est tout aussi frappante : la version BF16 pèse environ 5,6 To, et environ 1,4 To après quantification INT4.
Les conditions de licence sont le détail qu'il faudra attendre. D'après les informations publiques, la génération précédente, K3, utilisait une licence MIT modifiée ; pour K3.1 Pro, nous n'avons pas encore pu vérifier les conditions sur la page officielle. Les lecteurs qui comptent l'utiliser commercialement doivent se fier au fichier LICENSE du dépôt.
Un classement noté sur des sessions réelles
Les résultats cités avec les poids proviennent du classement Agent Arena d'Arena. K3.1 Pro y est premier parmi les modèles à poids ouverts et 13e parmi l'ensemble des modèles évalués, et il arrive en tête des modèles ouverts dans les trois catégories : travail, programmation et discussion.
Ce classement ne repose pas sur des votes aveugles par paires. Il extrait des signaux de sessions réelles d'agents, comme les confirmations de tâches, les compliments et les plaintes, les corrections des utilisateurs et les erreurs Shell, puis estime un taux d'amélioration net grâce à une méthode d'inférence randomisée appelée « traçage causal ». L'évaluation couvre cette fois plus de 17 500 sessions de tâches de longue durée.
| Indicateur | K3 | K3.1 Pro |
|---|---|---|
| Taux d'amélioration net | +0,9 % | +5,1 % |
| Fiabilité Bash | -4,5 % | +7,9 % |
| Compliments contre plaintes | +1,3 % | +7,7 % |
La fiabilité Bash passe de négative à positive et se classe même première parmi les modèles ouverts. C'est ce qui touche le plus directement ceux qui lancent des tâches longues : on laisse difficilement la main à un agent dont les commandes échouent à la chaîne. Le taux de réussite de confirmation des tâches, à +3,9 %, ne place le modèle qu'en quatrième position parmi les modèles ouverts : il ne mène donc pas sur tous les tableaux.
Face à deux modèles fermés de référence
Le tableau comparatif publié par Moonshot AI comporte des dizaines de benchmarks, dont des tests internes ; seuls les benchmarks publics sont retenus ci-dessous.
| Benchmark | K3.1 Pro | GPT-6 Astra | Opus 5.5 |
|---|---|---|---|
| Terminal-Bench 4.0 | 65,7 | 58,2 | 66,4 |
| SWE Marathon v1.1 | 51,7 | 42,5 | 46,3 |
| Frontier Finance | 58,6 | 45,0 | 56,7 |
| HLE-Full (avec outils) | 70,0 | 57,2 | 67,7 |
| Program Bench | 31,5 | 50,0 | 65,0 |
| Terminal-Bench-Science 0.1 | 38,1 | 68,1 | 63,3 |
| HLE-Diamond | 39,4 | 65,8 | 60,9 |
| ExploitBench | 74,7 | 100 | 91,0 |
Les tests où il est en tête sont surtout des tâches avec outils et à long déroulé ; ceux où il est à la traîne se concentrent sur les tâches scientifiques, le raisonnement très difficile et l'attaque-défense informatique. Sur Terminal-Bench 4.0, l'écart avec Opus 5.5 n'est que de 0,7 point, mais sur sa branche scientifique il dépasse 25 points. Ce tableau est publié par l'éditeur et certains scores n'ont pas encore été reproduits par des tiers.
La ligne attaque-défense mérite d'être examinée à part. Des poids ouverts, une fois téléchargés, ne peuvent plus être rappelés ; avec 74,7 points sur ExploitBench et 20,7 sur ExploitGym, le modèle reste à distance des modèles fermés de référence, et ces deux scores servent de point de repère pour le débat sur la sécurité des publications ouvertes.
Télécharger et exécuter, deux choses très différentes
ITHome tient à rappeler dans son article que l'écart est grand entre « téléchargeable » et « exécutable en local » : les cartes graphiques grand public ne permettent pratiquement pas de le déployer.
Un calcul approximatif : charger toute la version INT4 de 1,4 To en mémoire vidéo, à raison de 80 Go par carte, demande environ 18 GPU de classe centre de données, sans compter le cache de contexte. L'architecture MoE n'active qu'environ 104 milliards de paramètres à chaque fois, et certaines couches d'attention complète ont été remplacées par une attention parcimonieuse à portes pour alléger le coût du contexte long, mais il faut bien un endroit où stocker les poids.
Pour la plupart des équipes en Chine, le bénéfice direct de cette ouverture revient donc à quelques fournisseurs de cloud et de services d'inférence : ils peuvent déployer le modèle eux-mêmes et fixer leurs propres tarifs. Pour les développeurs ordinaires, le changement le plus probable est la multiplication des points d'accès pour appeler le modèle. Quant à savoir si les prix baisseront en conséquence, il faudra comparer une fois les versions hébergées par des tiers en ligne.
Sources : ITHome, CocoLoop, classement Agent Arena d'Arena ; les scores de benchmark proviennent du tableau comparatif publié par Moonshot AI, les besoins en mémoire vidéo sont une estimation de notre part.