Databricks benchmarkuje kódovacie agenty na vlastnom kóde s miliónmi riadkov: GLM-5.2 na Pareto frontiere

Čo sa stalo

Databricks 8. júla 2026 zverejnil výsledky interného benchmarku, kde hodnotili kódovacie agenty na reálnych úlohách, ktoré ich inžinieri vykonali na kóde firmy. Kódová základňa obsahuje milióny riadkov v mnohých populárnych jazykoch: Python, Go, TypeScript, Scala a iné.

Kontext a dopad

Verejné benchmarky ako SWE-Bench sú často 'pre-tuned', preto Databricks vzal skutočné inžinierske úlohy a vytvoril pre ne testovacie sady. Praktická správa: kupujúci by mali porovnávať agentov podľa nákladov na dokončenú úlohu, nie len ceny tokenov. GLM-5.2 na Pareto frontiere ukazuje, že čínske open-source modely sú silným argumentom pre cost-conscious podniky.

Detaily

• Benchmark: reálne inžinierske úlohy z kódeovej základne Databricks (Python, Go, TypeScript, Scala)
• Pareto frontier: OpenAI, Anthropic a GLM-5.2
• GLM-5.2 je silný a lacnejší – výzva pre americké modely
• Meria: schopnosť riešiť end-to-end úlohy na reálnej kódovej základni
• Matei Zaharia (Databricks co-founder): potrebné sú custom benchmarky pre firemné kódovacie úlohy
• Hacker News #1 AI príbeh 9. júla (score 108)