Dane

Egocentryczne wideo (dane treningowe)

2021AktywnyOpublikowano: 27 lipca 2026Aktualizacja: 1 września 2026Opublikowany

Wzorzec pozyskiwania danych: wykorzystanie wideo z perspektywy pierwszej osoby (egocentrycznego) do trenowania embodied AI i robotow — bogatego w interakcje reka-obiekt i zgodnego z punktem widzenia robota.

Kluczowa innowacja

Wykorzystuje nagrania z perspektywy pierwszej osoby (kamera noszona przez czlowieka) jako skalowalne, zgodne z punktem widzenia robota zrodlo danych o manipulacji i interakcji z otoczeniem, zamiast kosztownych demonstracji zbieranych na robocie.

Kategoria

Dane

Poziom abstrakcji

Wzorzec

Poziom operacji

DaneTrening

Zastosowania

Wstepny trening modeli embodied AI / robotykiUczenie manipulacji z demonstracji (bez teleoperacji)Paliwo dla modeli wizja-jezyk-akcja (VLA) i wideo-akcja (VAM)Uczenie reprezentacji interakcji reka-obiektSkalowalne pozyskiwanie danych do foundation models robotow

Jak działa

1) Ludzie nagrywaja czynnosci kamera noszona z perspektywy pierwszej osoby (opcjonalnie z audio, IMU, sledzeniem wzroku). 2) Dane sa kurowane i (opcjonalnie) anotowane: narracje, akcje, interakcje reka-obiekt. 3) Model uczy sie z wideo — samonadzorowanie / video pretraining lub uczenie z demonstracji — nabywajac reprezentacje dynamiki, obiektow i czynnosci. 4) Reprezentacje/polityki sa przenoszone (transfer/fine-tuning) na robota, z uwzglednieniem luki wcielenia (retargeting reki-chwytaka, dostrojenie na niewielkiej ilosci danych robota).

Rozwiązany problem

Demonstracje zbierane na robocie (teleoperacja) sa kosztowne i trudno skalowalne. Egocentryczne wideo czlowieka dostarcza taniego, obszernego i zgodnego z perspektywa robota zrodla danych o manipulacji i zachowaniu w swiecie.

Komponenty

Kamera egocentrycznaAkwizycja danych

Kamera noszona na glowie/ciele rejestrujaca scene z perspektywy pierwszej osoby (opcjonalnie z IMU, audio, sledzeniem wzroku).

Oficjalna

Zbior danych wideoZrodlo treningowe

Wykurowany, wielkoskalowy zbior nagran egocentrycznych, czesto z anotacjami (narracje, akcje, interakcje).

Ego4D~3000+ godzin egocentrycznego wideo (Meta).

Epic-KitchensEgocentryczne nagrania czynnosci kuchennych.

Ego-Exo4D~1286 godzin zsynchronizowanego wideo egocentrycznego i egzocentrycznego (Meta FAIR + CMU).

Oficjalna

Pipeline treningowyUczenie i transfer

Proces uczenia z wideo (pretraining/SSL lub imitation) i transferu reprezentacji/polityk na robota.

Oficjalna

Implementacja

Implementacje referencyjne

Ego4D dataset (Meta AI)

Meta AI / Ego4D Consortium

Oficjalna

EPIC-KITCHENS dataset

University of Bristol et al.

Ego-Exo4D dataset (Meta FAIR / CMU et al.)

Meta FAIR / Carnegie Mellon University i konsorcjum

Oficjalna

Pułapki implementacyjne

Luka wcielenia (embodiment gap)Wysoka

Rece i cialo czlowieka roznia sie od chwytaka/robota, co utrudnia bezposredni transfer polityk.

Rozwiązanie:Retargeting reki-chwytaka, uczenie reprezentacji niezaleznych od wcielenia, dostrojenie na danych robota.

Brak etykiet akcji/proprioceptjiŚrednia

Czyste wideo nie zawiera komend sterujacych ani stanu ciala, co ogranicza bezposrednie uczenie polityk.

Rozwiązanie:Inverse dynamics / pseudo-akcje, laczenie z niewielka iloscia danych robota, samonadzorowanie.

Prywatnosc i stronniczosc danychŚrednia

Nagrania z pierwszej osoby moga zawierac dane wrazliwe i byc obciazone stronniczoscia domenowa.

Rozwiązanie:Anonimizacja, zgody, roznorodnosc domen i lokalizacji.

Ewolucja

Oryginalny paper · 2021 · CVPR 2022 / arXiv:2110.07058 · Kristen Grauman

Ego4D: Around the World in 3,000 Hours of Egocentric Video

Kristen Grauman, Andrew Westbury, et al. (Ego4D Consortium)

2018

Epic-Kitchens — egocentryczny zbior czynnosci

Wielkoskalowy egocentryczny zbior nagran czynnosci kuchennych upowszechnia egocentryczne wideo w badaniach.

2021

Ego4D — ~3000+ godzin egocentrycznego wideo

Punkt przełomowy

Meta i konsorcjum publikuja Ego4D, masowy zbior egocentrycznego wideo, ustanawiajac je jako zrodlo treningowe dla embodied AI.

2024

Egocentryczne wideo w foundation models robotow

Egocentryczne (i human) wideo staje sie powszechnym paliwem pretreningu dla modeli VLA i wideo-akcja (VAM), obok Ego-Exo4D.

Hiperparametry (konfigurowalne osie)

Modalnosci nagraniaŚrednia

RGB, opcjonalnie audio, IMU, sledzenie wzroku, glebia.

RGB + IMU + gazeBogaty zapis egocentryczny.

Typ anotacjiWysoka

Narracje, etykiety akcji, interakcje reka-obiekt, brak (samonadzorowanie).

narrationsEgo4D.

Skala (godziny)Wysoka

Ilosc nagran; kluczowa dla jakosci pretreningu.

~3000+ hEgo4D.

Złożoność obliczeniowa

Złożoność czasowa: Zalezna od skali danych i modelu. Złożoność przestrzenna: O(godziny × rozdzielczosc × FPS).

Wąskie gardło obliczeniowe

Skala danych wideo i luka wcielenia

Przetwarzanie/przechowywanie wielkoskalowego wideo jest kosztowne, a roznica miedzy morfologia czlowieka a robota (embodiment gap) oraz brak jawnych akcji/proprioceptywnych etykiet utrudniaja bezposredni transfer.

Zależy od

Luka wcielenia (human -> robot)Brak etykiet akcji