SWE-bench est devenu la "note du bac" pour les capacités de codage de l'IA — chaque nouveau modèle publié doit annoncer ce chiffre. Mais que teste réellement ce benchmark ? Dépasser les 80 % signifie-t-il que l'IA peut vraiment travailler comme programmeur ?
Méthode de test
SWE-bench utilise des issues GitHub réelles. Il extrait de véritables rapports de bogues et demandes de fonctionnalités de projets connus comme Django, Flask, Requests et Matplotlib, et demande aux modèles d'IA de générer des correctifs pour les résoudre. Après la correction, les tests unitaires du projet sont exécutés ; s'ils sont réussis, la tâche est considérée comme accomplie.
Le sous-ensemble Verified comprend 500 tâches, chacune exécutée dans un conteneur Docker indépendant pour garantir l'isolation de l'environnement.
Classement actuel
En mars 2026 :
| Modèle | Score Verified |
|---|---|
| Claude Opus 4.5 | 80,9 % |
| Claude Opus 4.6 | 80,8 % |
| Gemini 3.1 Pro | 80,6 % |
| MiniMax M2.5 | 80,2 % |
| GPT-5.2 | 80,0 % |
| DeepSeek V3.2-exp | 60,0 % |
| Qwen 3 | 55,0 % |
Le groupe de tête a déjà dépassé la barre des 80 %, tandis que le groupe de queue se situe encore entre 55 et 60 %. L'écart est net.
Un problème facilement négligé
SWE-bench mesure en réalité la performance globale du "modèle + échafaudage". Différents frameworks d'agent et différentes configurations de chaîne d'outils peuvent faire en sorte qu'un même modèle obtienne des scores très différents. Par conséquent, on ne peut pas simplement regarder le score et conclure que "le Modèle A est meilleur que le Modèle B".
Pour faire face au problème de saturation des scores, les chercheurs ont introduit :
- SWE-bench PRO : Un sous-ensemble plus strict
- SWE-bench Live : Mise à jour mensuelle avec de nouvelles questions pour éviter la contamination des données
De 30 % début 2024 à plus de 80 % en 2026, le chiffre a presque triplé en deux ans. La vitesse de progression est vraiment impressionnante, mais on est encore loin de "remplacer complètement les programmeurs" — ces benchmarks testent des issues individuelles bien définies, alors que la majeure partie du temps dans le développement logiciel réel est consacrée à la compréhension des besoins, la conception d'architecture et la communication d'équipe — des domaines que le benchmark ne couvre pas.
Sources de référence : CocoLoop, SWE-bench officiel, Classement LocalAIMaster