1) Uczeń (model warunkowany tylko pytaniem) generuje własne trajektorie — próbkowanie on-policy. 2) Ten sam model, wcielający się w nauczyciela, jest warunkowany informacją uprzywilejowaną (np. zweryfikowanym śladem rozumowania lub odpowiedzią ground-truth). 3) Dla każdego tokena trajektorii ucznia liczy się dywergencję (zwykle odwrotną KL) między rozkładem ucznia a rozkładem uprzywilejowanego nauczyciela i minimalizuje ją. 4) Nauczyciela można dynamicznie synchronizować z poprawiającym się uczniem, a wagę KL kalibrować, by uniknąć kolapsu treningu.
Dystylacja off-policy uczy model na sekwencjach nauczyciela, co tworzy niedopasowanie rozkładów (train/inference mismatch). Dystylacja on-policy to naprawia, ale wymaga osobnego, zwykle większego modelu-nauczyciela i nie wykorzystuje wprost rozwiązań ground-truth dostępnych w zbiorach danych. OPSD rozwiązuje oba problemy: nauczyciel i uczeń to ten sam model, a wiedza płynie z informacji uprzywilejowanej, nie z większego modelu.
Ta sama sieć co nauczyciel, ale bez dostępu do informacji uprzywilejowanej; to jej rozkład jest dopasowywany.
Widzi zweryfikowane ślady rozumowania / rozwiązania ground-truth i produkuje rozkład-cel dla każdego tokena.
Zwykle odwrotna KL; często z wagą importance dla poprawności gradientu i stabilności.
Agarwal i in. wprowadzają Generalized Knowledge Distillation: uczeń uczy się na własnych sekwencjach ocenianych przez osobnego nauczyciela.
Thinking Machines Lab (Kevin Lu) opisuje dystylację on-policy z gęstą sygnalizacją tokenową od większego nauczyciela.
Nazwany algorytm On-Policy Self-Distillation: jeden model jako nauczyciel (kontekst uprzywilejowany) i uczeń (samo pytanie).
Warianty: privileged information distillation (π-Distill), Skill-SD dla agentów wielokrokowych, warianty multimodalne i wielojęzyczne.
Co widzi nauczyciel, a czego nie widzi uczeń: zweryfikowany ślad rozumowania, odpowiedź ground-truth, dodatkowy kontekst, wyższa rozdzielczość itp.
Zwykle odwrotna KL między uczniem a nauczycielem; waga/kalibracja wpływa na stabilność i ryzyko kolapsu.
Częstotliwość aktualizacji nauczyciela do bieżącego stanu ucznia (statyczny vs dynamiczny nauczyciel).
Trening/fine-tuning LLM z gęstą stratą tokenową wymaga akceleratorów z rdzeniami tensorowymi.
