Robotyka

RFM

2023AktywnyOpublikowano: 1 września 2026Aktualizacja: 1 września 2026Opublikowany

Duży, wielozadaniowy model bazowy dla robotów, trenowany na dużych, różnorodnych danych (często cross-embodiment) i adaptowalny do wielu zadań i platform. Obejmuje modele VLA i generalist policies.

Kluczowa innowacja

Przeniesienie paradygmatu modeli bazowych do robotyki: jeden duży model wytrenowany na ogromnych, różnorodnych danych (często cross-embodiment) zastępuje policy trenowane od zera per zadanie i per robot, umożliwiając transfer wiedzy między platformami.

Kategoria

Robotyka

Poziom abstrakcji

Paradygmat

Poziom operacji

Sterowanie robotemModelTrening

Zastosowania

Manipulacja obiektami (chwytanie, pick-and-place)Roboty humanoidalne ogólnego przeznaczeniaSterowanie językowo-warunkowane (instrukcje w języku naturalnym)Cross-embodiment transfer między różnymi robotamiZadania mobilnej manipulacjiDexterous manipulation (składanie prania, sprzątanie stołu)

Jak działa

RFM zwykle łączy pretrenowany kręgosłup wizyjno-językowy (VLM), który wnosi semantyczną wiedzę z internetu, z głowicą akcji generującą komendy motoryczne. Model przyjmuje obserwacje (obrazy z kamer, stan robota) i instrukcję (język naturalny lub obraz-cel) i produkuje akcje. Stosowane są różne reprezentacje akcji: dyskretyzacja akcji jako tokenów tekstowych i autoregresyjne dekodowanie (RT-2, OpenVLA), predykcja fragmentów trajektorii przez głowicę dyfuzyjną (Diffusion Policy, System 1 w GR00T N1) lub przez flow matching (π0). Trening odbywa się na heterogenicznej piramidzie danych — trajektorie realnych robotów, wideo ludzi i dane syntetyczne — oraz na danych cross-embodiment z wielu robotów jednocześnie, dzięki wspólnej przestrzeni obserwacji/akcji. Adaptacja do nowego robota lub zadania odbywa się przez fine-tuning (często w kilka godzin na konsumenckim GPU) lub przez zmianę instrukcji językowej. Część modeli (GR00T N1) używa architektury dwusystemowej: wolniejszego modułu wizyjno-językowego (System 2) i szybkiego kontrolera motorycznego działającego w czasie rzeczywistym (System 1).

Rozwiązany problem

Klasyczne policy robotyczne są projektowane per zadanie, trenowane na wąskich zbiorach i wdrażane w konkretnych środowiskach oraz na konkretnym robocie, przez co słabo generalizują i wymagają kosztownego zbierania danych dla każdej nowej platformy. RFM rozwiązuje ten problem, wykorzystując pretrening na dużej skali i dane cross-embodiment, aby jeden model generalizował na nowe obiekty, instrukcje i roboty przy minimalnym dostrajaniu.

Komponenty

Vision-Language Backbone (VLM)Percepcja i rozumienie sceny oraz instrukcji

Pretrenowany model wizyjno-językowy wnoszący wiedzę semantyczną ze skali internetu; przetwarza obrazy i instrukcje językowe.

Oficjalna

Action HeadGenerowanie akcji sterujących robotem

Moduł generujący komendy motoryczne: tokeny akcji (autoregresja), głowica dyfuzyjna lub flow matching, często przewidujący fragmenty trajektorii (action chunks).

Discrete action tokens (autoregressive)Akcje jako tokeny tekstowe dekodowane autoregresyjnie (RT-2, OpenVLA).

Diffusion action headPredykcja fragmentów trajektorii przez proces dyfuzyjny (Diffusion Policy, GR00T N1 System 1).

Flow matching headGłowica flow matching generująca ciągłe akcje wysokiej częstotliwości (π0).

Oficjalna

Cross-Embodiment Data & TokenizationŹródło pozytywnego transferu między platformami

Wspólna reprezentacja obserwacji i akcji pozwalająca trenować jeden model na danych z wielu robotów (np. Open X-Embodiment: 1M+ trajektorii, 22 embodiments).

Heterogeneous Training PyramidZasilanie pretreningu w skali

Mieszanka danych: trajektorie realnych robotów, wideo demonstracji ludzkich oraz dane syntetyczne z symulacji, równoważąca skalę i realizm.

Oficjalna

Implementacja

Implementacje referencyjne

Octo

Python (JAX) · Octo Model Team (UC Berkeley et al.)

Oficjalna

OpenVLA

Python (PyTorch) · Stanford / OpenVLA team

Oficjalna

openpi (π0)

Python · Physical Intelligence

Oficjalna

Isaac GR00T

Python (PyTorch) · NVIDIA

Oficjalna

Pułapki implementacyjne

Niezgodność przestrzeni akcji między platformamiWysoka

Różne roboty mają różne przestrzenie akcji i sensory; bez wspólnej normalizacji cross-embodiment transfer zawodzi.

Rozwiązanie:Wspólna tokenizacja/normalizacja akcji i obserwacji; uczenie na ujednoliconej reprezentacji (Open X-Embodiment).

Latencja inferencji vs częstotliwość sterowaniaWysoka

Duże modele mogą nie nadążać z generowaniem akcji w czasie rzeczywistym dla dexterous manipulation.

Rozwiązanie:Action chunking, głowice dyfuzyjne/flow matching, architektura dwusystemowa (szybki System 1).

Luka sim-to-realŚrednia

Dane syntetyczne z symulacji nie zawsze przenoszą się na realny robot.

Rozwiązanie:Domain randomization, mieszanie danych realnych i syntetycznych, fine-tuning na realnym robocie.

Nierównowaga i niedobór danych robotycznychŚrednia

Dane robotyczne są kosztowne i nierównomiernie rozłożone między platformami i zadaniami, co przekrzywia model.

Rozwiązanie:Ważenie próbek, augmentacja wideo ludzi i danymi z sieci, staranne kuratorstwo mieszanki danych.

Ewolucja

Oryginalny paper · 2023 · arXiv 2023 · Yafei Hu

Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis

Yafei Hu, Quanting Xie, Vidhi Jain

2021

Termin „foundation model"

Punkt przełomowy

Stanford CRFM (Bommasani i in.) ukuwa pojęcie modelu bazowego — pretrening na skali i szeroka adaptowalność.

On the Opportunities and Risks of Foundation Models (artykuł)

2022

RT-1: Robotics Transformer

Google skaluje transformer jako policy robotyczną trenowaną na dużym zbiorze rzeczywistych demonstracji.

RT-1: Robotics Transformer for Real-World Control at Scale (artykuł)

2023

RT-2: pierwszy duży VLA

Punkt przełomowy

Google DeepMind pokazuje, że model wizyjno-językowy z akcjami jako tokenami przenosi wiedzę z sieci do sterowania robotem.

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control (artykuł)

2023

Open X-Embodiment / RT-X

Punkt przełomowy

1M+ trajektorii z 22 robotów; trening cross-embodiment daje pozytywny transfer (RT-1-X +50% w low-data, RT-2-X 3x na emergentnych zdolnościach).

Open X-Embodiment: Robotic Learning Datasets and RT-X Models (artykuł)

2024

Octo: open-source generalist policy

Transformer trenowany na 800k trajektorii z Open X-Embodiment; fine-tuning na nowy robot w kilka godzin na konsumenckim GPU.

Octo: An Open-Source Generalist Robot Policy (artykuł)

2024

π0: VLA flow model

Physical Intelligence łączy VLM z głowicą flow matching do dexterous manipulation na wielu platformach (single-arm, dual-arm, mobile).

π0: A Vision-Language-Action Flow Model for General Robot Control (artykuł)

2025

NVIDIA GR00T N1: humanoidalny RFM

Punkt przełomowy

Otwarty model bazowy dla humanoidów z architekturą dwusystemową (System 2 VLM + System 1 diffusion transformer), trenowany na heterogenicznej piramidzie danych.

GR00T N1: An Open Foundation Model for Generalist Humanoid Robots (artykuł)

Hiperparametry (konfigurowalne osie)

Rozmiar modeluWysoka

Liczba parametrów kręgosłupa VLM/policy.

~1B (Octo, GR00T N1)

7B (OpenVLA)

55B (RT-2-X)

Horyzont fragmentu akcjiWysoka

Liczba kroków akcji przewidywanych naraz (action chunking).

Pokrycie platformKrytyczna

Liczba i różnorodność robotów w danych treningowych.

Częstotliwość sterowaniaWysoka

Częstotliwość generowania akcji (Hz); krytyczna dla dexterous i wysokoczęstotliwościowego sterowania.

Skład danychWysoka

Proporcje danych realnych robotów, wideo ludzi i danych syntetycznych.

Paradygmat wykonania

Tryb główny

Gęsty

Większość RFM to modele dense oparte na transformerze. Warianty dwusystemowe (GR00T N1) rozdzielają wolne rozumowanie (System 2) od szybkiego sterowania (System 1).

Wzorzec aktywacji

Zależne od wejścia

Mechanizm routingu

Równoległość

Poziom równoległości

Częściowo równoległy

Pretrening zrównoleglany na wielu urządzeniach; inferencja na robocie jest ograniczona wymogami sterowania w czasie rzeczywistym (autoregresyjne dekodowanie tokenów akcji bywa sekwencyjne).

Zakres

TreningPomiędzy urządzeniami