DreamerV2

DreamerV2 to agent uczenia ze wzmocnieniem oparty o model świata, opracowany przez Danijara Hafnera, Timothy'ego Lillicrapa, Mohammada Norouziego i Jimmy'ego Ba. Zaprezentowany w preprintcie z 5 października 2020 (arXiv:2010.02193, „Mastering Atari with Discrete World Models") i opublikowany na konferencji ICLR 2021.

Model uczy się kompaktowej reprezentacji środowiska z surowych obserwacji za pomocą rekurencyjnego modelu stanu (RSSM) z dyskretnymi (kategorialnymi) reprezentacjami latentnymi. Polityka typu actor-critic jest trenowana wyłącznie na trajektoriach generowanych „w wyobraźni" przez model świata, bez wykonywania tych akcji w prawdziwym środowisku.

Wyniki

DreamerV2 jest pierwszym agentem, który osiąga poziom ludzki na benchmarku Atari (55 gier, 200M klatek), ucząc się zachowań z osobno trenowanego modelu świata. Przy takim samym budżecie obliczeniowym i czasie rzeczywistym przewyższa czołowe agenty jednogpu-owe IQN i Rainbow. Model demonstruje też sterowanie ciągłe — kontrolę humanoidalnego robota wyłącznie z pikselowych wejść.

Dostępność

Implementacja referencyjna w TensorFlow 2 jest dostępna publicznie na GitHubie (danijar/dreamerv2) na licencji MIT i działa na pojedynczym GPU. DreamerV2 należy do linii Dreamer/PlaNet (world models) i został później zastąpiony przez DreamerV3.