Robocikowo>ROBOCIKOWO
Trening

Reasoning-to-Readout Self-Distillation

2026BadawczyOpublikowano: 17 listopada 2026Aktualizacja: 17 listopada 2026Opublikowany
Technika treningu z pracy SII-Decision: readout decyzji z pierwszego tokena uczy się odwzorowywać rozkład po rozumowaniu tego samego modelu, bez gold labels i bez nauczyciela.
Kluczowa innowacja
Metoda samo-destylacji, która uczy natychmiastowy „odczyt" decyzji z pierwszego tokena dopasowywać się do rozkładu, do którego model dochodzi dopiero po pełnym rozumowaniu — bez etykiet referencyjnych i bez silniejszego modelu-nauczyciela.
Kategoria
Trening
Poziom abstrakcji
Technika
Poziom operacji
Po-treningInferencja
Zastosowania
Szybkie modele decyzyjne zwracające decyzję w jednym przebiegu w przódTrening dobrze skalibrowanych decyzji bez gold labelsKompresja decyzji po rozumowaniu do pierwszego tokenaDostrajanie modeli decyzyjnych metodą pełną lub LoRA

Jak działa

Dla danego zapytania model najpierw rozwija rozumowanie i dochodzi do rozkładu prawdopodobieństwa nad dozwolonymi opcjami — to jest sygnał nauczający (target). Następnie ten sam model uczy się tak, aby jego readout z pierwszego tokena — ograniczony do dozwolonych etykiet opcji — od razu odwzorowywał ten post-rozumowy rozkład. Ponieważ target pochodzi z tego samego modelu po rozumowaniu, a nie z zewnętrznego nauczyciela ani z gold labels, jest to samo-destylacja z rozumowania do odczytu. Po treningu w inferencji używany jest wyłącznie First-Token Decision Readout: jeden przebieg w przód zwraca decyzję i jej prawdopodobieństwo. Ten sam readout obsługuje wszystkie trzy formaty JEVal (wybór, osąd, ocena). Udostępniono warianty z pełną aktualizacją wag i z LoRA.

Rozwiązany problem

Modele decyzyjne oparte na rozumowaniu (chain-of-thought) są wolne i kosztowne, bo wymagają wygenerowania długiego łańcucha tokenów przed podjęciem decyzji, a klasyczna destylacja potrzebuje etykiet referencyjnych lub silniejszego nauczyciela. Ta technika usuwa oba ograniczenia: uzyskuje jakość decyzji „po rozumowaniu" w jednym przebiegu w przód i trenuje się bez gold labels oraz bez zewnętrznego nauczyciela.

Komponenty

First-Token Decision ReadoutOdczyt decyzji w inferencji

Mechanizm inferencji ograniczający rozkład kolejnego tokena do dozwolonych etykiet opcji i zwracający decyzję wraz z prawdopodobieństwem w jednym przebiegu w przód.

Post-reasoning target distributionSygnał nauczający w treningu

Rozkład prawdopodobieństwa nad opcjami, do którego ten sam model dochodzi po rozwinięciu rozumowania; służy jako cel nauczający w samo-destylacji (model jako własny nauczyciel).

Ewolucja

Oryginalny paper · 2026 · arXiv preprint (2026) · Feiyu Duan
General Decision Models: Benchmarking and Insights Beyond Jev
Feiyu Duan, Jiayu Lin, Jia Wang, Jun Xiang, Jialiang Wu, Xinnong Zhang, Hanqi Yan, Siyuan Wang, Zhongyu Wei
2026
Wprowadzenie metody w pracy SII-Decision
Punkt przełomowy

Zespół SII przedstawia Reasoning-to-Readout Self-Distillation i First-Token Decision Readout, trenując modele SII-Decision-4B/27B bez gold labels i bez nauczyciela.