Výskum: neuróny v neurálnych sieťach sú oveľa interpretovateľnejšie, než sme si mysleli

Čo sa stalo

Nick Cammarata z Goodfire zverejnil rozsiahly esej tvrdiac, že neuróny v neurálnych sieťach sú oveľa čistejšie a interpretovateľnejšie, než predpokladá mainstrema interpretability výskum. MIT Technology Review príbeh pokryl ako potenciálny prelom.

Kontext a dopad

Ak hypotéza platí, sparse autoencoders (superposition decomposition) nemusia byť nevyhnutným základom interpretability výskumu. To by výrazne zjednodušilo analýzu modelov a zmenilo smer výskumu.

Detaily

• Polysematičnosť podľa Cammaratu pochádza z opraviteľných chýb (reward hacking vo feature viz., zlá regularizácia)
• Príklad: neslávny neuron cat/car v InceptionV1 je podľa neho detektor V-tvaru, nie superpozícia
• Moderné architektúry (residual + LayerNorm): ~99 % neurónov v ConvNeXt ľahko interpretovateľných
• Audit Qwen3-32B: ~90 % neurónových pólov má jednu funkciu, ~7 % dve súvisiace, 2-4 % nevysvetlených
• Autor označuje esej ako pracovnú hypotézu, nie záver — companion paper pripravovaný