RFM zwykle łączy pretrenowany kręgosłup wizyjno-językowy (VLM), który wnosi semantyczną wiedzę z internetu, z głowicą akcji generującą komendy motoryczne. Model przyjmuje obserwacje (obrazy z kamer, stan robota) i instrukcję (język naturalny lub obraz-cel) i produkuje akcje. Stosowane są różne reprezentacje akcji: dyskretyzacja akcji jako tokenów tekstowych i autoregresyjne dekodowanie (RT-2, OpenVLA), predykcja fragmentów trajektorii przez głowicę dyfuzyjną (Diffusion Policy, System 1 w GR00T N1) lub przez flow matching (π0). Trening odbywa się na heterogenicznej piramidzie danych — trajektorie realnych robotów, wideo ludzi i dane syntetyczne — oraz na danych cross-embodiment z wielu robotów jednocześnie, dzięki wspólnej przestrzeni obserwacji/akcji. Adaptacja do nowego robota lub zadania odbywa się przez fine-tuning (często w kilka godzin na konsumenckim GPU) lub przez zmianę instrukcji językowej. Część modeli (GR00T N1) używa architektury dwusystemowej: wolniejszego modułu wizyjno-językowego (System 2) i szybkiego kontrolera motorycznego działającego w czasie rzeczywistym (System 1).
Klasyczne policy robotyczne są projektowane per zadanie, trenowane na wąskich zbiorach i wdrażane w konkretnych środowiskach oraz na konkretnym robocie, przez co słabo generalizują i wymagają kosztownego zbierania danych dla każdej nowej platformy. RFM rozwiązuje ten problem, wykorzystując pretrening na dużej skali i dane cross-embodiment, aby jeden model generalizował na nowe obiekty, instrukcje i roboty przy minimalnym dostrajaniu.
Pretrenowany model wizyjno-językowy wnoszący wiedzę semantyczną ze skali internetu; przetwarza obrazy i instrukcje językowe.
Oficjalna
Moduł generujący komendy motoryczne: tokeny akcji (autoregresja), głowica dyfuzyjna lub flow matching, często przewidujący fragmenty trajektorii (action chunks).
Oficjalna
Wspólna reprezentacja obserwacji i akcji pozwalająca trenować jeden model na danych z wielu robotów (np. Open X-Embodiment: 1M+ trajektorii, 22 embodiments).
Mieszanka danych: trajektorie realnych robotów, wideo demonstracji ludzkich oraz dane syntetyczne z symulacji, równoważąca skalę i realizm.
Oficjalna
Różne roboty mają różne przestrzenie akcji i sensory; bez wspólnej normalizacji cross-embodiment transfer zawodzi.
Duże modele mogą nie nadążać z generowaniem akcji w czasie rzeczywistym dla dexterous manipulation.
Dane syntetyczne z symulacji nie zawsze przenoszą się na realny robot.
Dane robotyczne są kosztowne i nierównomiernie rozłożone między platformami i zadaniami, co przekrzywia model.
Stanford CRFM (Bommasani i in.) ukuwa pojęcie modelu bazowego — pretrening na skali i szeroka adaptowalność.
Google skaluje transformer jako policy robotyczną trenowaną na dużym zbiorze rzeczywistych demonstracji.
Google DeepMind pokazuje, że model wizyjno-językowy z akcjami jako tokenami przenosi wiedzę z sieci do sterowania robotem.
1M+ trajektorii z 22 robotów; trening cross-embodiment daje pozytywny transfer (RT-1-X +50% w low-data, RT-2-X 3x na emergentnych zdolnościach).
Transformer trenowany na 800k trajektorii z Open X-Embodiment; fine-tuning na nowy robot w kilka godzin na konsumenckim GPU.
Physical Intelligence łączy VLM z głowicą flow matching do dexterous manipulation na wielu platformach (single-arm, dual-arm, mobile).
Otwarty model bazowy dla humanoidów z architekturą dwusystemową (System 2 VLM + System 1 diffusion transformer), trenowany na heterogenicznej piramidzie danych.
Liczba parametrów kręgosłupa VLM/policy.
Liczba kroków akcji przewidywanych naraz (action chunking).
Liczba i różnorodność robotów w danych treningowych.
Częstotliwość generowania akcji (Hz); krytyczna dla dexterous i wysokoczęstotliwościowego sterowania.
Proporcje danych realnych robotów, wideo ludzi i danych syntetycznych.
Większość RFM to modele dense oparte na transformerze. Warianty dwusystemowe (GR00T N1) rozdzielają wolne rozumowanie (System 2) od szybkiego sterowania (System 1).
Pretrening zrównoleglany na wielu urządzeniach; inferencja na robocie jest ograniczona wymogami sterowania w czasie rzeczywistym (autoregresyjne dekodowanie tokenów akcji bywa sekwencyjne).
Pretrening i inferencja dużych transformerów wykorzystują tensor cores GPU.
Modele Google (RT-2) trenowane na TPU; dobra skalowalność treningu.
Mniejsze modele (Octo, GR00T N1 ~1B) można dostrajać i wdrażać na konsumenckim/edge GPU na robocie.
