Trening
Groupwise Advantage Redistribution
2026BadawczyAktualizacja: 22 września 2026Opublikowany
Technika RL redystrybuująca oszacowanie przewagi (advantage) w obrębie grupy rolloutów tego samego zapytania, by stabilniej wzmacniać lepsze odpowiedzi.
Kluczowa
innowacja
Redystrybucja przewagi wewnątrz grupy rolloutów zamiast niezależnych oszacowań.
Kategoria
Trening
Poziom abstrakcji
Building block
Poziom operacji
Po-trening
Zastosowania
RL dla LLMStabilizacja treningu RLGrupowe metody RL (GRPO)
Jak działa
Przewaga (advantage) jest przeliczana i redystrybuowana w obrębie grupy rolloutów tego samego zapytania, by wyraźniej różnicować lepsze i gorsze odpowiedzi.
Rozwiązany problem
Naiwne oszacowania przewagi w grupie mogą źle rozkładać zasługi, prowadząc do niestabilnego lub słabego uczenia.