SWE-bench ist zum "Hochschulzugangstest" für KI-Programmierfähigkeiten geworden – jede neue Modellveröffentlichung muss diese Zahl nennen. Aber was prüft dieser Benchmark wirklich? Bedeutet eine Punktzahl von über 80 %, dass KI tatsächlich als Programmierer arbeiten kann?
Testmethode
SWE-bench verwendet reale GitHub-Issues. Es extrahiert echte Fehlerberichte und Funktionsanfragen aus bekannten Projekten wie Django, Flask, Requests und Matplotlib und fordert KI-Modelle auf, Patches zur Behebung zu generieren. Nach der Reparatur werden die projekteigenen Unit-Tests ausgeführt; wenn sie bestanden werden, gilt der Vorgang als erfolgreich.
Der Verified-Teilbereich umfasst 500 Aufgaben, die jeweils in einem separaten Docker-Container ausgeführt werden, um die Umgebungsisolierung zu gewährleisten.
Aktuelle Rangliste
Stand März 2026:
| Modell | Verified-Punktzahl |
|---|---|
| Claude Opus 4.5 | 80,9 % |
| Claude Opus 4.6 | 80,8 % |
| Gemini 3.1 Pro | 80,6 % |
| MiniMax M2.5 | 80,2 % |
| GPT-5.2 | 80,0 % |
| DeepSeek V3.2-exp | 60,0 % |
| Qwen 3 | 55,0 % |
Die Spitzengruppe hat bereits die 80-Prozent-Marke überschritten, während die untere Gruppe noch bei 55–60 % liegt. Der Abstand ist deutlich.
Ein leicht übersehenes Problem
SWE-bench misst tatsächlich die Gesamtleistung von "Modell + Gerüst". Unterschiedliche Agent-Frameworks und unterschiedliche Toolchain-Konfigurationen können dazu führen, dass dasselbe Modell sehr unterschiedliche Punktzahlen erzielt. Daher kann man nicht einfach anhand der Punktzahl schlussfolgern, dass "Modell A besser ist als Modell B".
Um das Problem der Punktsättigung zu lösen, haben Forscher Folgendes eingeführt:
- SWE-bench PRO: Ein strengerer Teilbereich
- SWE-bench Live: Monatliche Aktualisierung mit neuen Fragen, um Datenkontamination zu verhindern
Von 30 % Anfang 2024 auf über 80 % im Jahr 2026 hat sich die Zahl in zwei Jahren fast verdreifacht. Die Fortschrittsgeschwindigkeit ist wirklich beeindruckend, aber von einer "vollständigen Ersetzung von Programmierern" ist man noch weit entfernt – diese Benchmarks testen alle klar definierte Einzelprobleme, während in der realen Softwareentwicklung ein Großteil der Zeit für Anforderungsverständnis, Architekturdesign und Teamkommunikation aufgewendet wird – Bereiche, die der Benchmark nicht abdeckt.
Quellenangabe: CocoLoop, SWE-bench offiziell, LocalAIMaster-Rangliste