Curiosity-driven Exploration
Jak działa
Agent utrzymuje wyuczony model predykcyjny środowiska. Na każdym kroku model przewiduje pewną wielkość (np. cechy następnego stanu na podstawie bieżącego stanu i akcji), a różnica między predykcją a obserwacją — błąd predykcji — jest używana jako wewnętrzna nagroda dodawana do (ewentualnej) nagrody zewnętrznej. W module Intrinsic Curiosity Module (Pathak i in., 2017) stosuje się model odwrotny (inverse model), który uczy się przewidywać akcję z pary stanów, aby wyznaczyć przestrzeń cech odporną na nieprzewidywalne, nieistotne elementy środowiska; model prosty (forward model) przewiduje w tej przestrzeni cech następny stan, a jego błąd to nagroda ciekawości. W metodzie Random Network Distillation (Burda i in., 2018) nagroda to błąd sieci-predyktora uczącej się odtwarzać wyjście stałej, losowo zainicjowanej sieci-celu; stany rzadko odwiedzane dają wysoki błąd, a więc wysoką nagrodę. W miarę nauki model coraz lepiej przewiduje odwiedzane stany, więc nagroda ciekawości dla nich maleje, naturalnie przesuwając eksplorację ku nieznanym obszarom.
Rozwiązany problem
W wielu zadaniach uczenia ze wzmocnieniem nagroda zewnętrzna jest rzadka, opóźniona lub całkowicie nieobecna, przez co klasyczne metody eksploracji (np. epsilon-greedy) nie znajdują wartościowych zachowań. Eksploracja napędzana ciekawością dostarcza gęstego, samodzielnie generowanego sygnału, który kieruje agenta ku nowym stanom i umożliwia naukę mimo braku informacji zwrotnej od środowiska.
Komponenty
Sygnał nagrody generowany przez samego agenta, proporcjonalny do błędu predykcji modelu; dodawany do nagrody zewnętrznej.
Przewiduje następny stan (lub jego cechy) na podstawie bieżącego stanu i akcji; jego błąd stanowi nagrodę ciekawości.
W ICM model odwrotny przewiduje akcję z pary kolejnych stanów, ucząc przestrzeń cech odporną na nieprzewidywalne, nieistotne elementy środowiska.
Oficjalna
Implementacja
Agent napędzany błędem predykcji może utknąć przy źródłach nieredukowalnej losowości (np. ekran z szumem), bo są trwale nieprzewidywalne i dają stale wysoką nagrodę.
Nagroda ciekawości maleje w miarę uczenia modelu, co utrudnia stabilne skalowanie i może wygaszać eksplorację.
Ewolucja
Jürgen Schmidhuber proponuje ciekawość opartą na błędzie predykcji modelu świata jako wewnętrzną motywację kontrolera.
Stadie, Levine i Abbeel stosują błąd głębokiego modelu predykcyjnego jako premię eksploracyjną w Atari.
Prace VIME (Houthooft i in.) oraz pseudo-liczniki (Bellemare i in.) ujednolicają eksplorację opartą na zliczaniu i motywacji wewnętrznej.
Pathak i in. wprowadzają ICM z modelem odwrotnym wyznaczającym przestrzeń cech, co uodparnia ciekawość na nieistotną losowość środowiska.
Burda i in. wprowadzają RND (pierwsze przekroczenie ludzkiego wyniku w Montezuma's Revenge przy czystej ciekawości) oraz publikują badanie czysto ciekawościowego uczenia na 54 środowiskach.
Hiperparametry (konfigurowalne osie)
Współczynnik skalujący nagrodę ciekawości względem nagrody zewnętrznej (często oznaczany β lub η).
Przestrzeń, w której liczony jest błąd predykcji (surowe piksele, cechy losowe, cechy wyuczone przez model odwrotny, VAE).
Normalizacja niestacjonarnej nagrody wewnętrznej (np. przez bieżące odchylenie standardowe), kluczowa dla stabilności RND.