Simon Willison: Kimi K3 a čo nás stále môže naučiť pelican benchmark

Hlavná myšlienka

Simon Willison hodnotí Kimi K3 od Moonshot AI (2,8T parametrov) a reflektuje vývoj svojho "pelican benchmark" — testu SVG kresby pelikána na bicykli. Tvrdí, že pelican test stratil koreláciu s reálnym výkonom, ale zostáva užitočný ako "hello world" pre nové modely.

Kontext

Willison používa pelican test ako rýchly check pri každom novom modeli — sleduje cenu aj vizuálnu kvalitu SVG. Post reaguje priamo na vydanie Kimi K3 a jeho extrémne dlhé reasoning (13 241 tokenov pre jeden obrázok, čo stojí ~25 centov).

Prečo to stojí za pozornosť

Upozorňuje, že žiadny jednoduchý benchmark — ani jeho vlastný pelican — nevie zachytiť to, čo je v roku 2026 najdôležitejšie: agentic tool-calling. Pre vývojárov porovnávajúcich modely je to dôležitý metodologický postoj.

Detaily / argumenty

• Kimi K3 stojí $3/M vstupných tokenov — nie lacný čínsky model, cena ako Anthropic Sonnet
• Jeden pelican SVG run = 13 241 reasoning tokenov = ~25 centov
• Pelican test mal v minulosti koreláciu s výkonom — teraz ju stratil
• Kritická chýbajúca dimenzia: benchmark nehodnotí tool-calling
• Kimi K3 váhy vyjdú 27. júla — dovtedy nie je možná nezávislá inšpekcia