Reasoning-to-Readout Self-Distillation
Jak działa
Dla danego zapytania model najpierw rozwija rozumowanie i dochodzi do rozkładu prawdopodobieństwa nad dozwolonymi opcjami — to jest sygnał nauczający (target). Następnie ten sam model uczy się tak, aby jego readout z pierwszego tokena — ograniczony do dozwolonych etykiet opcji — od razu odwzorowywał ten post-rozumowy rozkład. Ponieważ target pochodzi z tego samego modelu po rozumowaniu, a nie z zewnętrznego nauczyciela ani z gold labels, jest to samo-destylacja z rozumowania do odczytu. Po treningu w inferencji używany jest wyłącznie First-Token Decision Readout: jeden przebieg w przód zwraca decyzję i jej prawdopodobieństwo. Ten sam readout obsługuje wszystkie trzy formaty JEVal (wybór, osąd, ocena). Udostępniono warianty z pełną aktualizacją wag i z LoRA.
Rozwiązany problem
Modele decyzyjne oparte na rozumowaniu (chain-of-thought) są wolne i kosztowne, bo wymagają wygenerowania długiego łańcucha tokenów przed podjęciem decyzji, a klasyczna destylacja potrzebuje etykiet referencyjnych lub silniejszego nauczyciela. Ta technika usuwa oba ograniczenia: uzyskuje jakość decyzji „po rozumowaniu" w jednym przebiegu w przód i trenuje się bez gold labels oraz bez zewnętrznego nauczyciela.
Komponenty
Mechanizm inferencji ograniczający rozkład kolejnego tokena do dozwolonych etykiet opcji i zwracający decyzję wraz z prawdopodobieństwem w jednym przebiegu w przód.
Rozkład prawdopodobieństwa nad opcjami, do którego ten sam model dochodzi po rozwinięciu rozumowania; służy jako cel nauczający w samo-destylacji (model jako własny nauczyciel).
Ewolucja
Zespół SII przedstawia Reasoning-to-Readout Self-Distillation i First-Token Decision Readout, trenując modele SII-Decision-4B/27B bez gold labels i bez nauczyciela.