Robocikowo>ROBOCIKOWO
Trening

Rollout

2017AktywnyAktualizacja: 17 listopada 2026Opublikowany
RL rollout to faza uczenia ze wzmocnieniem, w której bieżąca polityka (model) jest uruchamiana w środowisku lub na zbiorze promptów, aby wygenerować trajektorie — sekwencje stanów, akcji i nagród — później wykorzystywane do aktualizacji polityki.
Kluczowa innowacja
Wyodrębnienie fazy generowania trajektorii (próbek) z bieżącej polityki jako osobnego, zrównoleglalnego i zwykle dominującego kosztowo etapu pętli uczenia ze wzmocnieniem.
Kategoria
Trening
Poziom abstrakcji
Building block
Poziom operacji
TreningPo-treningInferencja
Zastosowania
RLHF — generowanie completions LLM ocenianych przez model nagrodyRLVR / GRPO — grupowe rollouty dla zadań rozumowania z weryfikowalną nagrodąTrening polityk sterowania robotem w symulacji (sim-to-real)On-policy RL w grach i środowiskach sekwencyjnychGenerowanie danych syntetycznych do dalszego treningu

Jak działa

Krok 1: zamrożenie bieżącej polityki (snapshot wag) jako „polityki zbierającej". Krok 2: podanie partii stanów początkowych — w klasycznym RL to stany środowiska, w LLM to prompty. Krok 3: generacja — polityka wybiera akcje (w LLM: autoregresywne próbkowanie tokenów z określoną temperaturą/top-p), zapisując akcje, log-prawdopodobieństwa i ewentualnie wartości. Krok 4: zebranie nagród — środowisko lub model nagrody/weryfikator przypisuje nagrodę trajektoriom (w LLM często nagroda na końcu sekwencji). Krok 5: zapis trajektorii do bufora doświadczeń wraz z metadanymi potrzebnymi do estymacji przewagi (advantage). Dopiero po zebraniu rolloutów następuje osobna faza aktualizacji (np. PPO lub GRPO), w której na zebranych próbkach liczony jest gradient i aktualizowane są wagi. W wariantach grupowych (GRPO) dla jednego promptu generuje się wiele rolloutów, a przewaga jest liczona względem średniej nagrody w grupie.

Rozwiązany problem

Pętla RL potrzebuje świeżych próbek zachowania wygenerowanych przez aktualną politykę, aby oszacować gradient i poprawić decyzje. Rollout dostarcza te dane w sposób jawnie oddzielony od aktualizacji wag, co pozwala zrównoleglić generację, kontrolować świeżość próbek (on-policy vs off-policy) i optymalizować najkosztowniejszy element treningu niezależnie od samego kroku optymalizacji.

Komponenty

Polityka zbierająca (snapshot)Źródło akcji w fazie zbierania doświadczeń.

Zamrożona kopia wag bieżącej polityki, z której próbkuje się akcje podczas rolloutu; zapewnia spójność próbek dla fazy aktualizacji.

Środowisko / zestaw promptówDefiniuje zadanie, na którym zbierane są trajektorie.

Źródło stanów początkowych i dynamiki: środowisko RL (stany, przejścia) lub partia promptów dla modelu językowego.

Oficjalna

Strategia próbkowania / dekodowaniaSteruje równowagą eksploracja–eksploatacja zebranych próbek.

Reguła wyboru akcji z rozkładu polityki (np. temperatura, top-p, top-k), kontrolująca eksplorację w trakcie rolloutu.

Oficjalna

Sygnał nagrody / weryfikatorDostarcza skalarny sygnał uczący dla fazy aktualizacji.

Model nagrody, funkcja środowiska lub weryfikator (np. sprawdzenie poprawności odpowiedzi) przypisujący nagrodę trajektoriom po ich wygenerowaniu.

Oficjalna

Bufor doświadczeńPomost między fazą rolloutu a fazą aktualizacji polityki.

Struktura przechowująca zebrane trajektorie, log-prawdopodobieństwa, wartości i nagrody do estymacji przewagi i obliczenia gradientu.

Oficjalna

Implementacja

Pułapki implementacyjne
Rozbieżność polityki zbierającej i aktualizowanejWysoka

Jeśli między zebraniem rolloutów a aktualizacją polityka zbytnio się zmieni, próbki stają się off-policy i estymator gradientu jest obciążony.

Rozwiązanie:Stosować importance sampling i clipping (jak w PPO) oraz ograniczać liczbę kroków aktualizacji na partię rolloutów.
Niedopasowanie generacji treningowej i inferencyjnejŚrednia

Rozbieżności między silnikiem generującym rollouty a silnikiem liczącym log-prob (np. różnice numeryczne, długość KV-cache) psują sygnał uczący.

Rozwiązanie:Ujednolicić precyzję i parametry dekodowania oraz weryfikować zgodność log-prawdopodobieństw między ścieżkami.

Ewolucja

Oryginalny paper · 2018 · MIT Press · Richard S. Sutton
Reinforcement Learning: An Introduction (2nd ed.)
Richard S. Sutton, Andrew G. Barto
2018
Rollout jako pojęcie klasycznego RL

Podręcznik Suttona i Barto systematyzuje trajektorie/epizody jako podstawę metod Monte Carlo i uczenia on-policy.

2017
Rollout w centrum PPO
Punkt przełomowy

PPO formalizuje cykl: zbierz rollouty ze starej polityki, policz przewagę, wykonaj kilka kroków aktualizacji z clippingiem.

2022
Rollouty completions w RLHF
Punkt przełomowy

InstructGPT stosuje rollouty wygenerowanych odpowiedzi LLM oceniane przez model nagrody w pętli PPO.

2024
Grupowe rollouty (GRPO)
Punkt przełomowy

DeepSeekMath wprowadza GRPO: wiele rolloutów na prompt, a przewaga liczona względem średniej nagrody w grupie — bez osobnej sieci wartości.

Hiperparametry (konfigurowalne osie)

Rozmiar partii rolloutuWysoka

Liczba trajektorii/promptów zbieranych przed jedną aktualizacją polityki.

256Typowa partia dla RLHF LLM.
1024+Większe partie dla stabilniejszego gradientu.
Liczba próbek na prompt (grupa)Krytyczna

Ile rolloutów generuje się dla jednego promptu; krytyczne dla metod grupowych jak GRPO, gdzie przewaga liczona jest względem grupy.

8Częsty wybór w GRPO.
16–64Większe grupy zmniejszają wariancję estymatora przewagi.
Maksymalna długość generacji / horyzontWysoka

Maksymalna liczba tokenów (lub kroków w środowisku) na trajektorię; bezpośrednio wpływa na koszt rolloutu.

1024Standardowe completions.
8192+Długie łańcuchy rozumowania (reasoning).
Temperatura próbkowaniaŚrednia

Parametr kontrolujący eksplorację podczas generacji rolloutu; zbyt niska ogranicza różnorodność, zbyt wysoka pogarsza jakość próbek.

1.0Typowa wartość dla eksploracji w RL LLM.
0.7Niższa temperatura dla bardziej zachowawczych próbek.
Rollouty na aktualizację (świeżość)Średnia

Ile rolloutów zbiera się między kolejnymi aktualizacjami wag; reguluje stopień on-policy vs off-policy.

1 epoka na partięŚciśle on-policy (np. klasyczne PPO).

Złożoność obliczeniowa

Złożoność czasowa: O(G · T · C_fwd). Złożoność przestrzenna: O(G · T) + O(T · d · L).

Paradygmat wykonania

Tryb główny
Gęsty

Rollout to faza próbkowania/generacji, odrębna od fazy obliczania gradientu i aktualizacji wag.

Wzorzec aktywacji
Wszystkie ścieżki aktywne
Tryby dodatkowe
Rzadki
Mechanizm routingu

Rollout jako faza generacji nie wprowadza własnego routingu; tryb sparse pojawia się tylko, gdy sama polityka jest modelem MoE.

Równoległość

Poziom równoległości
Częściowo równoległy

Różne rollouty (różne prompty/epizody) są niezależne i masowo zrównoleglalne na wielu GPU/workerach.

Zakres
InferencjaPomiędzy urządzeniami
Ograniczenia
!Generacja autoregresywna jest sekwencyjna — każdy token/krok zależy od poprzedniego, więc pojedynczej trajektorii nie da się w pełni zrównoleglić po czasie.
!Rollouty z wielu workerów trzeba zebrać i zsynchronizować przed fazą aktualizacji polityki.

Wymagania sprzętowe

Podstawowe

Generacja autoregresywna to intensywne mnożenia macierzy; akceleratory GPU z Tensor Cores są standardem dla workerów rolloutu.

Dobry fit

TPU dobrze obsługują wsadową inferencję polityki przy odpowiednim oprogramowaniu serwującym.