Mesh LLM: zdieľanie GPU výkonu cez P2P sieť iroh pre spustenie väčších modelov

Čo sa stalo

Výskumný projekt Mesh LLM (11. júla 2026) predstavuje decentralizovaný spôsob spúšťania veľkých jazykových modelov cez P2P sieť iroh.

Kontext a dopad

Iroh je knižnica pre P2P sieťovanie postavená na QUIC protokole. Mesh LLM agreguje GPU výkon z viacerých počítačov a predkladá ho ako jeden localhost:9337/v1 endpoint kompatibilný s OpenAI API. Pre vývojárov bez prístupu k výkonnému single-GPU serveru ide o plnohodnotnú alternatívu bez cloudových licencií.

Detaily

• Podporuje modely od 500 mil. po 235 mld. parametrov
• Tri spôsoby volania: lokálne, smerovanie na peer s modelom, rozdelenie modelu medzi uzly
• Žiadny centrálny server — priame autentifikované QUIC spojenia
• Open-source, dostupné na GitHub