28,9 miliónov parametrov LLM beží na 8-dolárovom mikrokontroléri ESP32

Čo sa stalo

Vývojár slvDev 25. júla zverejnil open-source projekt, ktorý spúšťa 28,9-miliónový jazykový model priamo na ESP32 mikrokontroléri -- čipe za ~8 USD, pôvodne navrhnutom pre IoT zariadenia.

Kontext a dopad

Projekt vyvolal diskusiu o hraniciach edge AI a o tom, aký najmenší model ešte zvládne zmysluplné odpovede. Ukazuje, že AI na zariadeniach bez internetu je dostupná pre každého. Potenciálne aplikácie: offline hlasový asistent, priemyselné IoT senzory, domáca automatizácia.

Detaily

• Mikrokontrolér: ESP32 (Xtensa LX6 dual-core 240 MHz, 520 KB SRAM), cena ~8 USD
• Model: 28,9 milióna parametrov -- beží priamo na čipe bez cloudového pripojenia
• Projekt open-source na GitHub, zahŕňa zdrojový kód a inštrukcie
• Hacker News skóre 207 -- jeden z najpopulárnejších príspevkov 25. júla