DeepSeek open-sourcoval DeepInfer — produkčný inference framework

Čo je nové

• DeepInfer open-source: produkčný inference framework DeepSeeku — prvý priamy pohľad na ich internú infraštruktúru
• DSpark: spekulatívne dekódovanie s confidence scores — generuje draft tokeny a overuje ich
• Bounded suffix replay: redukuje prefill prácu pri dekódovaní
• Async scheduling: CPU batch scheduling sa prekrýva s device execution (zapnuté by default)
• Batch-invariant inference: konzistentné výsledky naprieč rôznymi batch sizes (NVIDIA only)
• Deterministic sampling: identické výstupy pre identické inputy (NVIDIA only)
• Štruktúrované výstupy: regex, JSON schema, EBNF grammar constraints

Prečo to stojí za pozornosť

Pre tímy self-hostujúce DeepSeek modely poskytuje základ rovnakej kvality ako cloud API bez externej závislosti. Prvý open-source pohľad na to, čo poháňa DeepSeek v produkcii.

Ako to vyskúšať

Repozitár: github.com/deepseek-ai/DeepInfer. Hardware: NVIDIA SM100 alebo Huawei Ascend 950. Podporovaný model: DeepSeek-V4.1-Flash.