Simon Willison: GPT-5.6 rodina — OpenAI napadla SWE-Bench Pro po slabom výkone na ňom

Hlavná myšlienka

Willison analyzuje tri nové modely GPT-5.6 (Luna, Terra, Sol) a poukazuje na znepokojivý vzorec: OpenAI verejne spochybnil spoľahlivosť benchmarku SWE-Bench Pro práve vtedy, keď GPT-5.6 na ňom nedosiahol výsledky porovnateľné s konkurenciou. Podľa OpenAI je ~30 % úloh v benchmarku 'problematických'. Willison netvrdí priamu manipuláciu, ale pomenováva vzorec hodný pozornosti.

Kontext

Willison sa dlhodobo venuje kritickému hodnoteniu AI benchmarkov a je jedným z najdôveryhodnejších nezávislých komentátorov AI. Tento post vyšiel v deň spustenia GPT-5.6 (9. júla 2026). Poznamenáva aj technicky zaujímavé nové API funkcie — programmatic tool calling, multi-agent orchestration, prompt cache breakpoints.

Prečo to stojí za pozornosť

Vzorec 'podaj sa slabšie na benchmarku → spochybni benchmark' je kriticky dôležitý pre vývojárov a ML inžinierov, ktorí sa pri výbere modelov spoliehajú na SWE-Bench Pro. Ak je ~30 % úloh skutočne problematických, celé porovnávacie rebríčky treba reinterpretovať — vrátane historických porovnaní.

Detaily / argumenty

• GPT-5.6 Luna ($1/$6), Terra ($2,50/$15), Sol ($5/$30) za milión tokenov
• Nové API: programmatic tool calling, multi-agent orchestration, prompt cache breakpoints
• OpenAI tvrdí, že ~30 % úloh SWE-Bench Pro je 'problematických'
• Sol dosiahol 53,6 na Agents' Last Exam vs. 40,5 pre Fable 5 — silný výsledok na agentic benchmarku
• Kontextové okno 1M tokenov, knowledge cutoff február 2026