Kaggle/DeepMind: AI-generovaný príspevok vyhral Grand Prize 25 000 USD — debata o benchmarkoch

Čo sa stalo

Google DeepMind vypísal Kaggle hackathon s odmenou 200 000 USD na vývoj benchmarkov merania AGI pokroku v piatich kognitívnych kategóriách. Medzi víťazmi Grand Prize sa objavil príspevok, ktorý komunita označila za generovaný obsah bez skutočnej odbornej práce — napriek tomu získal 25 000 USD.

Kontext a dopad

Incident poukazuje na zásadný problém: ak sú benchmarky AGI systémov hodnotené metrikami alebo samotnými AI systémami, môže dôjsť k systematickému uprednostňovaniu AI-generovaného obsahu, ktorý optimalizuje metriky namiesto skutočného výkonu. Otázka integrity AGI benchmarkov je kľúčová pre celé odvetvie.

Detaily

• Hackathon: Google DeepMind × Kaggle, celková odmena 200 000 USD
• 5 kategórií: učenie, metakognícia, pozornosť, exekutívne funkcie, sociálna kognícia
• Grand Prize: 25 000 USD — 4 najlepšie príspevky celkovo
• Sporný víťaz: označený komunitou ako AI-generovaný bez skutočného výskumu
• HN diskusia: otázky o hodnotiacich kritériách a odolnosti voči AI benchmark gamingu