OpenAI: SWE-bench Verified je nespoľahlivý — komunita by mala prejsť na SWE-Bench Pro

Čo sa stalo

OpenAI 8. júla zverejnil analýzu, podľa ktorej SWE-bench Verified — dlhodobo štandardný benchmark pre AI coding agentov — trpí fundamentálnymi problémami s dizajnom a kontamináciou tréningových dát.

Kontext a dopad

SWE-bench Verified bol roky hlavným nástrojom na porovnávanie AI coding agentov (Devin, Cursor, Copilot a i.). Nespoľahlivé výsledky ovplyvňujú bezpečnostné hodnotenia modelov v rámci Preparedness Framework aj výskumné priority. OpenAI presúva komunitu na SWE-Bench Pro, ktorý testuje dlhšie horizonty a reálnejšie úlohy.

Detaily

• SWE-bench Verified: kontaminácia tréningových dát + dizajnové slabiny
• Výsledky nemusia zodpovedať reálnym schopnostiam kódovania
• Odporúčanie: SWE-Bench Pro (dlhší horizont, realistickejšie úlohy)
• Dopad: ovplyvňuje Preparedness Framework a safety case rozhodnutia