Intrinsic Motivation
Jak działa
Agent oblicza wewnętrzny sygnał nagrody r_int na podstawie własnego stanu wiedzy lub kompetencji, a następnie optymalizuje politykę względem sumy nagrody wewnętrznej i (opcjonalnie) zewnętrznej. W podejściach opartych na wiedzy r_int jest proporcjonalne do błędu predykcji modelu świata lub do nowości stanu — agent jest nagradzany za odwiedzanie stanów, których jeszcze nie potrafi przewidzieć. W podejściach kompetencyjnych nagrodą jest tempo poprawy (learning progress), co kieruje agenta ku obszarom, w których najszybciej się uczy. Miary informacyjno-teoretyczne, takie jak empowerment, nagradzają stany maksymalizujące wpływ agenta na przyszłość (pojemność kanału akcja→przyszły stan). W miarę uczenia sygnał wewnętrzny zwykle wygasa, bo stany przestają być nowe lub trudne do przewidzenia.
Rozwiązany problem
Rozwiązuje problem eksploracji w środowiskach z rzadką lub nieobecną nagrodą zewnętrzną, gdzie standardowe RL nie ma czego maksymalizować i uczenie się zatrzymuje. Dostarcza sygnału napędzającego eksplorację i zdobywanie umiejętności nawet bez jawnego celu z otoczenia.
Komponenty
Wyliczana wewnętrznie nagroda r_int dodawana do (lub zastępująca) nagrodę zewnętrzną, kierująca optymalizacją polityki.
Model przewidujący kolejny stan lub jego cechy; błąd predykcji zasila nagrodę w podejściach opartych na wiedzy (prediction error, nowość).
Mierzy tempo poprawy kompetencji agenta i nagradza obszary o wysokim postępie (podejście kompetencyjne).
Informacyjno-teoretyczny cel nagradzający stany maksymalizujące wpływ agenta na przyszłość (pojemność kanału akcja→przyszły stan).
Implementacja
Metody oparte na błędzie predykcji lub nowości utykają na nieredukowalnie stochastycznych bodźcach, generując nieskończoną nagrodę wewnętrzną.
Nagroda wewnętrzna maleje w miarę uczenia, co utrudnia estymację funkcji wartości.
Zbyt wysoki współczynnik dominuje nad zadaniem, zbyt niski sprawia, że eksploracja jest ignorowana.
Ewolucja
Schmidhuber wprowadza ciekawość i nudę jako wewnętrzną nagrodę w kontrolerach budujących model świata.
Singh, Barto i Chentanez formalizują motywację wewnętrzną w ramach uczenia ze wzmocnieniem.
Oudeyer i Kaplan porządkują podejścia na oparte na wiedzy, kompetencji i morfologii.
Nagrodą wewnętrzną staje się postęp w kompresji obserwowanych danych (compression progress).
Nagroda z błędu predykcji w przestrzeni cech napędza eksplorację w głębokim RL.
Nagroda z błędu predykcji wobec losowej, zamrożonej sieci — odporniejsza na problem zaszumionego telewizora.
Hiperparametry (konfigurowalne osie)
Współczynnik skalujący nagrodę wewnętrzną względem zewnętrznej (często oznaczany β). Decyduje o tym, jak mocno eksploracja dominuje nad zadaniem.
Rodzaj sygnału: błąd predykcji, nowość/zliczanie, postęp w uczeniu (kompetencja) lub empowerment.
Sposób radzenia sobie z niestacjonarną skalą nagrody wewnętrznej, która zmienia się w trakcie uczenia.
Opcjonalne wygaszanie nagrody wewnętrznej w czasie, by na późniejszym etapie przeważała nagroda zewnętrzna.
Wymagania sprzętowe
Paradygmat projektowania nagrody i algorytmiki RL; koszt obliczeniowy dziedziczy po bazowym algorytmie i modelu, bez zależności od konkretnego typu sprzętu.