PlaNet

PlaNet (Deep Planning Network) to model-based agent uczenia ze wzmocnieniem opracowany przez badaczy Google i DeepMind (Danijar Hafner i inni), przedstawiony w 2019 roku w pracy „Learning Latent Dynamics for Planning from Pixels” (ICML 2019). Agent uczy się modelu świata wyłącznie z obrazów (pikseli) i wykorzystuje go do planowania działań.

Sercem modelu jest Recurrent State-Space Model (RSSM) — latentny model dynamiki łączący komponent deterministyczny i stochastyczny, co pozwala przewidywać wiele możliwych przyszłości i pamiętać informacje przez wiele kroków. Planowanie odbywa się w przestrzeni latentnej: agent porównuje tysiące wyobrażonych sekwencji działań, wybiera najlepszą, wykonuje ją i przeplanowuje po każdej nowej obserwacji.

PlaNet trenowano na zadaniach ciągłej kontroli z DeepMind Control Suite (m.in. cartpole swingup, finger spin, cheetah run, cup catch, walker walk, reacher). Osiąga wyniki zbliżone do model-free D4PG przy około 50-krotnie mniejszej liczbie interakcji ze środowiskiem. Kod referencyjny opublikowano na licencji Apache 2.0; PlaNet jest poprzednikiem linii modeli Dreamer.