SWE-bench entschlüsselt: Was misst dieser Benchmark wirklich?
SWE-bench ist zum "Hochschulzugangstest" für KI-Programmierfähigkeiten geworden. Doch bedeutet eine Punktzahl von über 80 %, dass KI wirklich als Programmierer arbeiten kann? Der Artikel analysiert die Testmethode, die aktuelle Rangliste und die inhärenten Einschränkungen dieses Benchmarks.