LLM predikujú výsledky sociálnych experimentov s koreláciou r=0,83 — štúdia Nature

Čo sa stalo

Vedci publikovali v Nature štúdiu, v ktorej LLM simuloval odpovede reprezentatívnych vzoriek americkej populácie na 70 predregistrovaných prieskumných experimentoch zahŕňajúcich 469 efektov a 119 330 účastníkov.

Kontext a dopad

Nálezy naznačujú, že LLM môžu slúžiť ako lacný predskúšobný nástroj pri dizajne sociálnych experimentov — urýchliť výber hypotéz pred drahými terénymi štúdiami. Zároveň otvárajú etické otázky: model reprodukuje predsudky zakotvené v tréningových dátach.

Detaily

• Korelácia predikcia vs. skutočnosť: r = 0,83 pre prieskumné experimenty
• Pre veľké multi-podmienkovéexperimenty: LLM r = 0,34 vs. experti r = 0,26
• Rozsah: 70 predregistrovaných experimentov, 469 efektov, 119 330 účastníkov
• Praktické využitie: predselekcia hypotéz, pilotovanie A/B testov, akcelerácia výskumu
• Riziko: LLM reprodukuje kultúrne a sociálne predsudky tréningových dát