Projekt Colibrì: 744B parametrový GLM 5.2 spustený na bežnom PC s 32 GB RAM

Čo sa stalo

HN príspevok 'Show HN: Getting GLM 5.2 running on my slow computer' (730 bodov) demonštruje open-source projekt Colibrì — systém, ktorý umožňuje spustiť 744 miliardový MoE (Mixture-of-Experts) model Z.ai GLM 5.2 na bežnom hardvéri s iba 32 GB RAM.

Kontext a dopad

GLM 5.2 je jeden z najvýkonnejších open-weight modelov dostupných v súčasnosti, porovnateľný s frontier modelmi. Tradičné nasadenie vyžaduje desiatky GB VRAM na GPU serveroch. Colibrì obchádza toto obmedzenie streamovaním iba aktívnych expertných parametrov z disku — neaktívne časti MoE architektúry zostávajú v úložisku. Výsledok je veľmi pomalý, ale funkčný a dostupný každému.

Detaily

• Model: Z.ai GLM 5.2, 744B parametrov, Mixture-of-Experts architektúra
• Požiadavky: len 32 GB RAM (namiesto 100+ GB VRAM pre GPU server)
• Výkon: ~0,1 tokenu za sekundu (pomalé, ale funkčné)
• Metóda: streaming aktívnych expertov z disku; neaktívni experti zostávajú offline
• Zdrojový kód: github.com/JustVugg/colibri (open-source, MIT)
• HN skóre: 730 bodov (9. júl 2026)