DayDreamer

DayDreamer to metoda uczenia ze wzmocnieniem opartego na modelu świata (world model), zastosowana do trenowania fizycznych robotów bezpośrednio w świecie rzeczywistym, bez użycia symulatorów. Bazuje na algorytmie Dreamer (linia DreamerV2): uczy model świata w przestrzeni latentnej (Recurrent State-Space Model), a następnie trenuje strategię aktor-krytyk przez planowanie „w wyobraźni”, co znacząco zmniejsza liczbę prób potrzebnych w rzeczywistości.

W kluczowym eksperymencie czworonóg Unitree A1 nauczył się przewracać z pleców, wstawać i chodzić od zera w około 1 godzinę interakcji, bez resetów, i w ciągu ok. 10 minut adaptował się do zakłóceń. Metodę zweryfikowano również na ramionach robotycznych (UR5, XArm) w zadaniach chwytania i odkładania obiektów na podstawie obrazu z kamery oraz na robocie kołowym w nawigacji wzrokowej.

Praca „DayDreamer: World Models for Physical Robot Learning” powstała na University of California, Berkeley (współautor Danijar Hafner) i została zaprezentowana na konferencji CoRL 2022.