Rzadka nagroda (Sparse Reward)
Jak działa
W reżimie rzadkiej nagrody agent przez większość epizodu otrzymuje nagrodę 0, a niezerowy sygnał pojawia się dopiero w stanie celowym. Ponieważ losowa eksploracja rzadko trafia na taki stan, standardowe algorytmy (np. DQN, PPO, DDPG) mogą się nie nauczyć niczego. Aby to obejść, stosuje się kilka rodzin technik: (1) kształtowanie nagrody potencjałowe (potential-based reward shaping, Ng i in. 1999), które dodaje pomocniczy sygnał bez zmiany optymalnej polityki; (2) motywację wewnętrzną / ciekawość — dodatkowa nagroda za nowość lub błąd predykcji modelu (Intrinsic Curiosity Module, Random Network Distillation), zachęcająca do eksploracji; (3) ponowne etykietowanie celów (Hindsight Experience Replay) — nieudane trajektorie są traktowane jako udane dla celu faktycznie osiągniętego, co daje sygnał uczący z porażek; (4) uczenie kurikularne — stopniowe zwiększanie trudności celu; (5) demonstracje ekspertów lub imitację, które prowadzą agenta w pobliże stanów nagradzanych.
Rozwiązany problem
Charakteryzuje jedno z centralnych wyzwań RL: jak uczyć skutecznej polityki, gdy środowisko dostarcza informacji zwrotnej niezwykle rzadko. Motywuje techniki poprawiające eksplorację i przypisanie zasługi, pozwalając trenować agentów bez ręcznego, gęstego (i podatnego na nadużycia) inżynierowania nagrody.
Komponenty
Funkcja nagrody zwracająca niezerowy (często binarny) sygnał tylko w nielicznych stanach — zwykle po osiągnięciu celu. Definiuje reżim rzadkiej nagrody.
Oficjalna
Strategia (np. ciekawość, bonusy za nowość, eksploracja liczebna) prowadząca agenta do odkrycia rzadkich stanów nagradzanych, gdy sam sygnał zewnętrzny nie wystarcza.
Oficjalna
Mechanizm propagacji odległej, opóźnionej nagrody wstecz do akcji, które do niej doprowadziły (np. przez współczynnik dyskontowania, TD-learning, ponowne etykietowanie celów).
Oficjalna
Implementacja
Przy czysto rzadkiej nagrodzie agent może nigdy nie trafić na stan nagradzany, więc gradient jest praktycznie zerowy i uczenie stoi w miejscu.
Dodanie dowolnego gęstego sygnału może przesunąć optimum i wywołać reward hacking — agent optymalizuje sygnał zastępczy zamiast rzeczywistego celu.
Nawet gdy agent w końcu się uczy, rzadka nagroda wymaga bardzo wielu interakcji ze środowiskiem.
Ewolucja
Ng, Harada i Russell wykazali, jak dodać pomocniczy sygnał łagodzący rzadkość nagrody bez zmiany optymalnej polityki.
Pathak i in. wprowadzili Intrinsic Curiosity Module — nagrodę wewnętrzną z błędu predykcji, umożliwiającą eksplorację przy braku nagrody zewnętrznej.
Andrychowicz i in. pokazali uczenie z rzadkich, binarnych nagród przez ponowne etykietowanie nieudanych trajektorii jako udanych dla faktycznie osiągniętego celu.
Burda i in. zaproponowali prosty bonus eksploracyjny oparty na destylacji losowej sieci, osiągając postęp w twardych grach z rzadką nagrodą (Montezuma’s Revenge).
Ecoffet i in. wprowadzili paradygmat „najpierw wróć, potem eksploruj", radykalnie poprawiając wyniki w środowiskach o skrajnie rzadkiej nagrodzie.
Hiperparametry (konfigurowalne osie)
Jak często środowisko zwraca niezerowy sygnał — od pełnej rzadkości (tylko na końcu) po nagrody częściowo gęste.
Współczynnik skalujący bonus eksploracyjny (ciekawość/nowość) względem nagrody zewnętrznej.
Determinuje, jak daleko wstecz propagowana jest opóźniona nagroda; kluczowy dla przypisania zasługi na długim horyzoncie.
Wąskie gardło obliczeniowe
Głównym „wąskim gardłem" nie jest moc obliczeniowa, lecz próbko-sprawność: liczba interakcji ze środowiskiem potrzebnych, by w ogóle natrafić na niezerową nagrodę i zacząć uczenie.
Paradygmat wykonania
Termin „sparse" odnosi się tu do gęstości sygnału nagrody w czasie, a nie do rzadkiej aktywacji parametrów modelu.
Równoległość
Zbieranie doświadczeń można zrównoleglić na wielu aktorach/środowiskach (distributed RL), ale aktualizacje polityki i propagacja rzadkiej nagrody pozostają zależne sekwencyjnie.
Wymagania sprzętowe
Rzadka nagroda to wyzwanie algorytmiczne (eksploracja, credit assignment), niezależne od konkretnego typu sprzętu.
Sieci polityki/wartości oraz równoległe zbieranie doświadczeń przez wielu aktorów korzystają z akceleracji GPU.