Robocikowo>ROBOCIKOWO
Dane

Embodied AI data

AktywnyOpublikowano: 27 lipca 2026Aktualizacja: 27 lipca 2026Opublikowany
Dane treningowe dla robotow i embodied AI: powiazane obserwacje, akcje i stany z dzialania w fizycznym swiecie, pochodzace z teleoperacji, ludzkiego wideo, symulacji i realnej interakcji.
Kluczowa innowacja
Traktuje dane dzialania w fizycznym swiecie (obserwacje + akcje + proprioceptja) jako kluczowy, deficytowy zasob do trenowania robotow, wymagajacy dedykowanego pozyskiwania, kuracji i laczenia zrodel (teleoperacja, wideo, symulacja).
Kategoria
Dane
Poziom abstrakcji
Wzorzec
Poziom operacji
DaneTrening
Zastosowania
Trening modeli fundacyjnych robotow (VLA, wideo-akcja)Uczenie manipulacji i lokomocji z danychLaczenie danych wielu robotow (cross-embodiment)Mieszanie danych realnych z symulacja (sim + real)Budowa koladanego danych (data flywheel) w produkcjiSkalowanie robot learningu

Jak działa

1) Dane sa pozyskiwane z wielu zrodel: teleoperacji (operator steruje robotem), ludzkiego/egocentrycznego wideo, symulacji/danych syntetycznych i realnej interakcji robota. 2) Dane sa kurowane, synchronizowane (obserwacje-akcje-proprioceptja) i (opcjonalnie) anotowane. 3) Zrodla i wcielenia sa laczone (cross-embodiment), a dane realne mieszane z symulacja. 4) Zbior zasila trening modeli (imitation/RL/pretraining), a wdrozony robot generuje nowe dane, domykajac koladane danych (data flywheel).

Rozwiązany problem

Roboty potrzebuja danych o dzialaniu w fizycznym swiecie, ktorych — inaczej niz tekstu/obrazow z internetu — jest malo i sa kosztowne. Embodied AI data porzadkuje pozyskiwanie, kuracje i laczenie zrodel takich danych.

Komponenty

Zrodla danychPozyskiwanie

Teleoperacja, ludzkie/egocentryczne wideo, symulacja/dane syntetyczne oraz realna interakcja robota.

TeleoperacjaOperator steruje robotem, zbierajac demonstracje.
Symulacja / dane syntetyczneTanie, skalowalne dane z symulatora.
Ludzkie/egocentryczne wideoSkalowalne demonstracje z perspektywy czlowieka.

Oficjalna

Struktura obserwacja-akcja-stanFormat danych

Zsynchronizowane trojki: obserwacja (wizja/sensory), akcja (komenda ruchu) i stan (proprioceptja).

Oficjalna

Pipeline kuracji i laczeniaPrzetwarzanie danych

Kuracja, synchronizacja, anotacja oraz laczenie zrodel i wcielen (cross-embodiment), mieszanie sim + real.

Oficjalna

Implementacja

Implementacje referencyjne
Open X-Embodiment / RT-X (dataset)
Open X-Embodiment Collaboration
LeRobot datasets (Hugging Face)
Hugging Face
Pułapki implementacyjne
Deficyt i koszt danychWysoka

Dane embodied sa trudne do zebrania na skale — teleoperacja jest wolna i droga.

Rozwiązanie:Symulacja/dane syntetyczne, ludzkie wideo, cross-embodiment, data flywheel.
Luka wcielenia i sim-to-realWysoka

Dane z jednego wcielenia/symulacji slabo przenosza sie na inne roboty i rzeczywistosc.

Rozwiązanie:Cross-embodiment learning, domain randomization, dostrajanie na danych docelowych.
Jakosc, stronniczosc i bezpieczenstwo danychŚrednia

Niespojne, stronnicze lub niebezpieczne demonstracje pogarszaja wyuczone polityki.

Rozwiązanie:Kuracja, filtrowanie jakosci, standaryzacja formatow (np. dataset cards).

Ewolucja

2021
Ludzkie egocentryczne wideo jako dane (Ego4D)

Wielkoskalowe ludzkie wideo staje sie zrodlem danych dla embodied AI.

2023
Cross-embodiment: Open X-Embodiment / RT-X
Punkt przełomowy

Polaczenie danych z wielu robotow (cross-embodiment) pokazuje transfer i skalowanie robot learningu.

2024
Miks sim + real i koladane danych

Laczenie danych realnych z symulacja i koladane danych (data flywheel) staja sie standardem dla modeli fundacyjnych robotow.

Hiperparametry (konfigurowalne osie)

Miks zrodel danychKrytyczna

Proporcje teleoperacji, ludzkiego wideo, symulacji i realnej interakcji.

sim + realMieszanie danych syntetycznych i realnych.
Pokrycie wcielenWysoka

Jedno- vs wieloembodimentowe (cross-embodiment) dane.

cross-embodimentDane z wielu robotow.
Bogactwo anotacjiŚrednia

Od surowych trajektorii po bogate etykiety (jezyk, akcje, sukces).

Złożoność obliczeniowa

Złożoność czasowa: Zalezna od skali i modalnosci danych. Złożoność przestrzenna: O(epizody × modalnosci × dlugosc).

Wąskie gardło obliczeniowe

Deficyt danych, luka wcielenia i sim-to-real

Dane embodied sa deficytowe i kosztowne, silnie zwiazane z wcieleniem, a dane z symulacji nie zawsze przenosza sie na rzeczywistosc (sim-to-real).

Zależy od
Koszt teleoperacjiRoznorodnosc wcielen/domen

Paradygmat wykonania

Tryb główny
Gęsty

Dotyczy fazy danych/treningu.

Wzorzec aktywacji
Wszystkie ścieżki aktywne
Mechanizm routingu

Strategia danych, bez routingu.

Równoległość

Poziom równoległości
W pełni równoległy

Trening i generowanie danych w symulacji sa silnie zrownoleglone; zbieranie na realnym robocie jest sekwencyjne.

Zakres
Trening
Ograniczenia
!Pozyskiwanie danych z realnego robota jest z natury sekwencyjne (czas rzeczywisty).

Wymagania sprzętowe

Podstawowe

Generowanie danych w symulacji i trening na wielomodalnych danych sa intensywne obliczeniowo (GPU/TPU); potrzebna tez duza przestrzen dyskowa i przepustowosc I/O.