Rollout
Jak działa
Krok 1: zamrożenie bieżącej polityki (snapshot wag) jako „polityki zbierającej". Krok 2: podanie partii stanów początkowych — w klasycznym RL to stany środowiska, w LLM to prompty. Krok 3: generacja — polityka wybiera akcje (w LLM: autoregresywne próbkowanie tokenów z określoną temperaturą/top-p), zapisując akcje, log-prawdopodobieństwa i ewentualnie wartości. Krok 4: zebranie nagród — środowisko lub model nagrody/weryfikator przypisuje nagrodę trajektoriom (w LLM często nagroda na końcu sekwencji). Krok 5: zapis trajektorii do bufora doświadczeń wraz z metadanymi potrzebnymi do estymacji przewagi (advantage). Dopiero po zebraniu rolloutów następuje osobna faza aktualizacji (np. PPO lub GRPO), w której na zebranych próbkach liczony jest gradient i aktualizowane są wagi. W wariantach grupowych (GRPO) dla jednego promptu generuje się wiele rolloutów, a przewaga jest liczona względem średniej nagrody w grupie.
Rozwiązany problem
Pętla RL potrzebuje świeżych próbek zachowania wygenerowanych przez aktualną politykę, aby oszacować gradient i poprawić decyzje. Rollout dostarcza te dane w sposób jawnie oddzielony od aktualizacji wag, co pozwala zrównoleglić generację, kontrolować świeżość próbek (on-policy vs off-policy) i optymalizować najkosztowniejszy element treningu niezależnie od samego kroku optymalizacji.
Komponenty
Zamrożona kopia wag bieżącej polityki, z której próbkuje się akcje podczas rolloutu; zapewnia spójność próbek dla fazy aktualizacji.
Źródło stanów początkowych i dynamiki: środowisko RL (stany, przejścia) lub partia promptów dla modelu językowego.
Oficjalna
Reguła wyboru akcji z rozkładu polityki (np. temperatura, top-p, top-k), kontrolująca eksplorację w trakcie rolloutu.
Oficjalna
Model nagrody, funkcja środowiska lub weryfikator (np. sprawdzenie poprawności odpowiedzi) przypisujący nagrodę trajektoriom po ich wygenerowaniu.
Oficjalna
Struktura przechowująca zebrane trajektorie, log-prawdopodobieństwa, wartości i nagrody do estymacji przewagi i obliczenia gradientu.
Oficjalna
Implementacja
Jeśli między zebraniem rolloutów a aktualizacją polityka zbytnio się zmieni, próbki stają się off-policy i estymator gradientu jest obciążony.
Rozbieżności między silnikiem generującym rollouty a silnikiem liczącym log-prob (np. różnice numeryczne, długość KV-cache) psują sygnał uczący.
Ewolucja
Podręcznik Suttona i Barto systematyzuje trajektorie/epizody jako podstawę metod Monte Carlo i uczenia on-policy.
PPO formalizuje cykl: zbierz rollouty ze starej polityki, policz przewagę, wykonaj kilka kroków aktualizacji z clippingiem.
InstructGPT stosuje rollouty wygenerowanych odpowiedzi LLM oceniane przez model nagrody w pętli PPO.
DeepSeekMath wprowadza GRPO: wiele rolloutów na prompt, a przewaga liczona względem średniej nagrody w grupie — bez osobnej sieci wartości.
Hiperparametry (konfigurowalne osie)
Liczba trajektorii/promptów zbieranych przed jedną aktualizacją polityki.
Ile rolloutów generuje się dla jednego promptu; krytyczne dla metod grupowych jak GRPO, gdzie przewaga liczona jest względem grupy.
Maksymalna liczba tokenów (lub kroków w środowisku) na trajektorię; bezpośrednio wpływa na koszt rolloutu.
Parametr kontrolujący eksplorację podczas generacji rolloutu; zbyt niska ogranicza różnorodność, zbyt wysoka pogarsza jakość próbek.
Ile rolloutów zbiera się między kolejnymi aktualizacjami wag; reguluje stopień on-policy vs off-policy.
Złożoność obliczeniowa
Złożoność czasowa: O(G · T · C_fwd). Złożoność przestrzenna: O(G · T) + O(T · d · L).
Paradygmat wykonania
Rollout to faza próbkowania/generacji, odrębna od fazy obliczania gradientu i aktualizacji wag.
Rollout jako faza generacji nie wprowadza własnego routingu; tryb sparse pojawia się tylko, gdy sama polityka jest modelem MoE.
Równoległość
Różne rollouty (różne prompty/epizody) są niezależne i masowo zrównoleglalne na wielu GPU/workerach.
Wymagania sprzętowe
Generacja autoregresywna to intensywne mnożenia macierzy; akceleratory GPU z Tensor Cores są standardem dla workerów rolloutu.
TPU dobrze obsługują wsadową inferencję polityki przy odpowiednim oprogramowaniu serwującym.