Dan Luu: Agentické kódovanie z Galapágov — fuzzing víťazí nad LLM code review, výber modelu je sekundárny

Čo sa stalo

Softwarový inžinier Dan Luu zverejnil rozsiahlu analýzu agentických AI kódovacích workflow z praktických experimentov. Post sa stal top príspevkom na Hacker News.

Kontext a dopad

Dan Luu je rešpektovaný autor empirických softwarových analýz. Jeho zistenia sú kriticky dôležité pre tímy zvažujúce nasadenie AI agentov v produkčnom vývoji — naznačujú, že väčšina hodnoty pochádza z testovacej infraštruktúry, nie z výberu frontier modelu.

Detaily a argumenty

• Fuzzing víťazí: randomizované testovanie nachádza bugy rýchlejšie ako LLM code review
• Vysoká variabilita: GPT-5.5 poráža Opus 4.8 na niektorých benchmarkoch a naopak — aggregate rankingy sú prakticky bezcenné
• Autonómne agenty zlyhávajú: bez ľudského vedenia sa agenti zasekávajú vo failure modoch pri iteratívnej analýze
• Záver: úspech vyžaduje pochopenie failure modes a systematické workarounds — nie plnú automatizáciu