Robocikowo>ROBOCIKOWO
Trening

OPSD

2026BadawczyOpublikowano: 2 września 2026Aktualizacja: 2 września 2026Opublikowany
OPSD (On-Policy Self-Distillation) to algorytm post-treningu, w którym pojedynczy LLM uczy sam siebie. Uprzywilejowany „nauczyciel” (ten sam model z dostępem do rozwiązań lub śladów rozumowania) dostarcza gęstą, tokenową sygnalizację na trajektoriach generowanych on-policy przez „ucznia” (ten sam model widzący tylko pytanie).
Kluczowa innowacja
Jeden model pełni jednocześnie rolę nauczyciela i ucznia: nauczyciel jest warunkowany informacją uprzywilejowaną (np. zweryfikowanymi śladami rozumowania lub rozwiązaniami), uczeń widzi tylko pytanie, a dystylacja odbywa się na własnych, generowanych on-policy trajektoriach ucznia — bez potrzeby osobnego, większego modelu-nauczyciela.
Kategoria
Trening
Poziom abstrakcji
Wzorzec
Poziom operacji
Po-treningTrening
Zastosowania
Rozumowanie matematyczne LLMAgenci wielokrokowi (multi-turn)Kompresja/skracanie łańcuchów rozumowaniaTransfer wielojęzycznyMultimodalne LLM

Jak działa

1) Uczeń (model warunkowany tylko pytaniem) generuje własne trajektorie — próbkowanie on-policy. 2) Ten sam model, wcielający się w nauczyciela, jest warunkowany informacją uprzywilejowaną (np. zweryfikowanym śladem rozumowania lub odpowiedzią ground-truth). 3) Dla każdego tokena trajektorii ucznia liczy się dywergencję (zwykle odwrotną KL) między rozkładem ucznia a rozkładem uprzywilejowanego nauczyciela i minimalizuje ją. 4) Nauczyciela można dynamicznie synchronizować z poprawiającym się uczniem, a wagę KL kalibrować, by uniknąć kolapsu treningu.

Rozwiązany problem

Dystylacja off-policy uczy model na sekwencjach nauczyciela, co tworzy niedopasowanie rozkładów (train/inference mismatch). Dystylacja on-policy to naprawia, ale wymaga osobnego, zwykle większego modelu-nauczyciela i nie wykorzystuje wprost rozwiązań ground-truth dostępnych w zbiorach danych. OPSD rozwiązuje oba problemy: nauczyciel i uczeń to ten sam model, a wiedza płynie z informacji uprzywilejowanej, nie z większego modelu.

Komponenty

Polityka uczniaGeneruje trajektorie on-policy, warunkowana wyłącznie promptem zadania

Ta sama sieć co nauczyciel, ale bez dostępu do informacji uprzywilejowanej; to jej rozkład jest dopasowywany.

Uprzywilejowany nauczycielTen sam model warunkowany informacją uprzywilejowaną dostarcza cel tokenowy

Widzi zweryfikowane ślady rozumowania / rozwiązania ground-truth i produkuje rozkład-cel dla każdego tokena.

Strata dystylacji tokenowej (odwrotna KL)Minimalizuje dywergencję między uczniem a nauczycielem na tokenach trajektorii ucznia

Zwykle odwrotna KL; często z wagą importance dla poprawności gradientu i stabilności.

Implementacja

Ewolucja

Oryginalny paper · 2026 · arXiv (2026) · Siyan Zhao
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
Siyan Zhao, Zhihui Xie, Mengchen Liu, Jing Huang, Guan Pang, Feiyu Chen, Aditya Grover
2023
GKD / dystylacja on-policy

Agarwal i in. wprowadzają Generalized Knowledge Distillation: uczeń uczy się na własnych sekwencjach ocenianych przez osobnego nauczyciela.

On-Policy Distillation of Language Models (artykuł)
2025
Popularyzacja dystylacji on-policy

Thinking Machines Lab (Kevin Lu) opisuje dystylację on-policy z gęstą sygnalizacją tokenową od większego nauczyciela.

On-Policy Distillation (Thinking Machines Lab) (artykuł)
2026
Wprowadzenie OPSD
Punkt przełomowy

Nazwany algorytm On-Policy Self-Distillation: jeden model jako nauczyciel (kontekst uprzywilejowany) i uczeń (samo pytanie).

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models (artykuł)
2026
Rozszerzenia OPSD

Warianty: privileged information distillation (π-Distill), Skill-SD dla agentów wielokrokowych, warianty multimodalne i wielojęzyczne.

Hiperparametry (konfigurowalne osie)

Rodzaj informacji uprzywilejowanejKrytyczna

Co widzi nauczyciel, a czego nie widzi uczeń: zweryfikowany ślad rozumowania, odpowiedź ground-truth, dodatkowy kontekst, wyższa rozdzielczość itp.

Kierunek i waga dywergencji KLWysoka

Zwykle odwrotna KL między uczniem a nauczycielem; waga/kalibracja wpływa na stabilność i ryzyko kolapsu.

Synchronizacja nauczyciela z uczniemŚrednia

Częstotliwość aktualizacji nauczyciela do bieżącego stanu ucznia (statyczny vs dynamiczny nauczyciel).

Wymagania sprzętowe

Podstawowe

Trening/fine-tuning LLM z gęstą stratą tokenową wymaga akceleratorów z rdzeniami tensorowymi.