AMD Strix Halo RDMA klaster — lacný local-AI rig sa stáva HN hitom

Čo sa stalo

Komunitný návod publikovaný 28. júna na HN (159 bodov) prevádza budovaním multi-node klastra z AMD Strix Halo (Ryzen AI Max+ 395) s vLLM a RDMA sieťou — demonštruje, že APU + 128 GB unified memory od AMD sa stáva seriózným cieľom pre stredne veľké LLM mimo Nvidia stacku.

Kontext a dopad

Strix Halo sa rapidne stáva vierohodnou local-inference platformou s unified memory porovnateľnou s VRAM GPU pri spotrebiteľskej cene. V kombinácii s vLLM a RDMA networkingom to môže znamenať inflexný bod, kedy serióznejší model serving odchádza z prenajatých Nvidia dátacentier do homelabov a malých firiem.

Detaily

• Hardvér: AMD Ryzen AI Max+ 395 ("Strix Halo") APU
• Softvér: vLLM s RDMA inter-node interconnectom
• GitHub repo: kyuz0/amd-strix-halo-vllm-toolboxes
• HN: 159 bodov, 50 komentárov 28. júna
• Demonštruje AMD ako životaschopnú non-CUDA platformu pre lokálne LLM