1) Dane sa pozyskiwane z wielu zrodel: teleoperacji (operator steruje robotem), ludzkiego/egocentrycznego wideo, symulacji/danych syntetycznych i realnej interakcji robota. 2) Dane sa kurowane, synchronizowane (obserwacje-akcje-proprioceptja) i (opcjonalnie) anotowane. 3) Zrodla i wcielenia sa laczone (cross-embodiment), a dane realne mieszane z symulacja. 4) Zbior zasila trening modeli (imitation/RL/pretraining), a wdrozony robot generuje nowe dane, domykajac koladane danych (data flywheel).
Roboty potrzebuja danych o dzialaniu w fizycznym swiecie, ktorych — inaczej niz tekstu/obrazow z internetu — jest malo i sa kosztowne. Embodied AI data porzadkuje pozyskiwanie, kuracje i laczenie zrodel takich danych.
Teleoperacja, ludzkie/egocentryczne wideo, symulacja/dane syntetyczne oraz realna interakcja robota.
Oficjalna
Zsynchronizowane trojki: obserwacja (wizja/sensory), akcja (komenda ruchu) i stan (proprioceptja).
Oficjalna
Kuracja, synchronizacja, anotacja oraz laczenie zrodel i wcielen (cross-embodiment), mieszanie sim + real.
Oficjalna
Dane embodied sa trudne do zebrania na skale — teleoperacja jest wolna i droga.
Dane z jednego wcielenia/symulacji slabo przenosza sie na inne roboty i rzeczywistosc.
Niespojne, stronnicze lub niebezpieczne demonstracje pogarszaja wyuczone polityki.
Wielkoskalowe ludzkie wideo staje sie zrodlem danych dla embodied AI.
Polaczenie danych z wielu robotow (cross-embodiment) pokazuje transfer i skalowanie robot learningu.
Laczenie danych realnych z symulacja i koladane danych (data flywheel) staja sie standardem dla modeli fundacyjnych robotow.
Złożoność czasowa: Zalezna od skali i modalnosci danych. Złożoność przestrzenna: O(epizody × modalnosci × dlugosc).
Dane embodied sa deficytowe i kosztowne, silnie zwiazane z wcieleniem, a dane z symulacji nie zawsze przenosza sie na rzeczywistosc (sim-to-real).
Proporcje teleoperacji, ludzkiego wideo, symulacji i realnej interakcji.
Jedno- vs wieloembodimentowe (cross-embodiment) dane.
Od surowych trajektorii po bogate etykiety (jezyk, akcje, sukces).
Dotyczy fazy danych/treningu.
Strategia danych, bez routingu.
Trening i generowanie danych w symulacji sa silnie zrownoleglone; zbieranie na realnym robocie jest sekwencyjne.
Generowanie danych w symulacji i trening na wielomodalnych danych sa intensywne obliczeniowo (GPU/TPU); potrzebna tez duza przestrzen dyskowa i przepustowosc I/O.
