Cactus Hybrid: open-source vrstva naucila Gemma 4 vediet, kedy sa myli - 0,814 AUROC

Co sa stalo

Tim Cactus.compute post-trenoval Google Gemma 4 2B s pridanou 68 000-parametrovou sondou, ktora cita medzistupnove skryte stavy modelu a predpovedava pravdepodobnost nespravnej odpovede pre kazdy output.

Kontext a dopad

Vysledok umoznuje hybridne smerovanie on-device/cloud: jednoduche dopyty bezia lokalne, sondinkou oznacene neiste odpovede sa eskaluju do frontier cloudu. Len 15-35 % dopytov potrebuje eskalaciu pri zachovani celkovej vykonnosti frontier modelu. Vahy su MIT-licencovane.

Detaily

• 68 000-parametrova sonda: minimalna velkost, citanie skrytych stavov v realnom case
• AUROC: 0,814 (sonda) vs. 0,549 (standardna token entropia)
• 15-35 % miera eskalacie: zvysok riesl lokalny Gemma 4 2B
• MIT licencia; vahy dostupne na HuggingFace
• Show HN: 152 bodov, 113 komentarov v case vydania