Dreamer 4

Dreamer 4 to skalowalny agent uczenia ze wzmocnieniem oparty o model świata, opracowany przez Danijara Hafnera, Wilsona Yana i Timothy’ego Lillicrapa (Google DeepMind). Zaprezentowany jako preprint arXiv (2509.24527) z 29 września 2025 roku. To kolejna generacja linii Dreamer po DreamerV3.

Agent uczy zachowań przez uczenie ze wzmocnieniem prowadzone „w wyobraźni” wewnątrz modelu świata, bez interakcji z prawdziwym środowiskiem. Model świata korzysta z przyczynowego tokenizera wideo (masked autoencoder kompresujący klatki do ciągłych reprezentacji) oraz wydajnej architektury transformera z nową funkcją celu „shortcut forcing”, dzięki czemu osiąga interaktywną inferencję w czasie rzeczywistym na pojedynczym GPU.

Wyniki

W grze Minecraft model świata trafnie przewiduje interakcje obiektów i mechanikę gry, wyraźnie przewyższając wcześniejsze modele świata. Autorzy stawiają wyzwanie zdobycia diamentów w Minecraft wyłącznie z danych offline — zadanie wymagające wyboru sekwencji ponad 20 000 akcji myszy i klawiatury na podstawie surowych pikseli. Ucząc się zachowań w wyobraźni, Dreamer 4 jako pierwszy agent zdobywa diamenty w Minecraft wyłącznie z danych offline, bez interakcji ze środowiskiem.

W trybie offline Dreamer 4 znacząco przewyższa agenta OpenAI VPT, używając przy tym 100 razy mniej danych, a także metody klonowania zachowań oparte na modelach wizyjno-językowych. Model świata uczy się warunkowania akcjami z niewielkiej ilości danych oznaczonych, większość wiedzy czerpiąc z różnorodnych nieoznaczonych nagrań wideo.

Praca jest motywowana zastosowaniami praktycznymi, m.in. robotyką, gdzie uczenie się przez interakcję ze środowiskiem bywa niebezpieczne i wolne. Model liczy 2 mld parametrów (400 mln tokenizer, 1,6 mld model dynamiki) i był trenowany na 256–1024 układach TPU-v5p.