Trening
You Only RL Once
2025BadawczyAktualizacja: 22 września 2026Opublikowany
Paradygmat uczenia ze wzmocnieniem dla LLM zakładający pojedynczy, jednorazowy przebieg RL zamiast wielu kosztownych iteracji dostrajania.
Kluczowa
innowacja
Skupienie kosztu i wysiłku RL w pojedynczym przebiegu zamiast wielu iteracji.
Kategoria
Trening
Poziom abstrakcji
Wzorzec
Poziom operacji
Po-treningTrening
Zastosowania
Post-trening LLMUczenie rozumowaniaRedukcja kosztu RL
Jak działa
Cały budżet RL jest wykorzystywany w jednym, starannie zaprojektowanym przebiegu treningu polityki, zamiast rozkładania go na wiele iteracji.
Rozwiązany problem
Wielokrotne rundy RL dla LLM są kosztowne obliczeniowo i niestabilne (dryf polityki, kolaps entropii).