SWE-benchのニュースと分析

SWE-benchが実際に測定しているもの

SWE-benchはAIコーディング能力の事実上の標準ベンチマークとなっているが、そのスコアを正しく解釈するには、何をテストし、何をテストしていないかを理解することが重要である。