Self-improvement loop
Jak działa
1) Model generuje wiele kandydujacych wyjsc dla zadania (np. rozne rozumowania/odpowiedzi). 2) Wyjscia sa oceniane lub filtrowane: przez sprawdzalna poprawnosc (np. wynik zadania matematycznego, testy jednostkowe), zewnetrzny weryfikator/reward model, albo model w roli sedziego. 3) Najlepsze probki tworza nowy zbior treningowy. 4) Model jest dotrenowywany (np. supervised fine-tuning lub DPO/RL) na tych danych. 5) Cykl sie powtarza, a poprawiony model generuje jeszcze lepsze dane w kolejnej iteracji. Kluczowe jest zapewnienie sygnalu jakosci (weryfikacja), by unikac wzmacniania bledow.
Rozwiązany problem
Trening silnych modeli wymaga ogromnych, wysokiej jakosci zbiorow etykietowanych przez ludzi, ktore sa kosztowne i trudne do skalowania - zwlaszcza dla zaawansowanego rozumowania. Petla samodoskonalenia pozwala pozyskiwac dane treningowe od samego modelu i skalowac jakosc bez proporcjonalnego wzrostu adnotacji ludzkiej.
Komponenty
Model produkujacy kandydujace wyjscia (rozumowania, odpowiedzi, rozwiazania).
Mechanizm oceny jakosci wyjsc: sprawdzalna poprawnosc, reward model lub LLM-as-a-Judge.
Oficjalna
Wybor najlepszych probek i utworzenie nowego zbioru treningowego.
Oficjalna
Dostrajanie modelu (SFT/DPO/RL) na wyselekcjonowanych danych i powtorzenie petli.
Implementacja
Trening na wlasnych, niezweryfikowanych wyjsciach moze utrwalac bledy i prowadzic do degradacji jakosci (model collapse).
Gdy model ocenia sam siebie, moze optymalizowac cechy oszukujace sedziego zamiast realnej jakosci.
Kolejne iteracje moga zawezac rozklad danych i zmniejszac roznorodnosc wyjsc.
Ewolucja
Zelikman i in. pokazali, ze model moze poprawiac sie, uczac sie z wlasnych, poprawnych rozumowan - fundament praktycznej petli samodoskonalenia.
Model ocenia wlasne wyjscia (LLM-as-a-Judge) i trenuje sie przez DPO na samodzielnie generowanych nagrodach, poprawiajac sie iteracyjnie bez staego reward modelu.
Muse Spark 1.2 (Meta) wykorzystuje metody self-improvement, w ktorych wczesniejsze modele generuja dane treningowe dla kolejnych, wspoltrenowany z agentem Muse Code.