Robocikowo>ROBOCIKOWO
Robotyka

UMI

2024AktywnyOpublikowano: 23 lipca 2026Aktualizacja: 23 lipca 2026Opublikowany
Framework zbierania danych i uczenia polityk (Stanford/Columbia/TRI, 2024): ręczny chwytak z kamerą pozwala uczyć roboty z demonstracji człowieka bez użycia robota.
Kluczowa innowacja
Zbieranie demonstracji manipulacji „w terenie” ręcznym chwytakiem z kamerą, bez udziału robota, i uczenie z nich wdrażalnych, niezależnych od sprzętu polityk robotycznych.
Kategoria
Robotyka
Poziom abstrakcji
System
Poziom operacji
DaneSterowanie robotemSystem
Zastosowania
Skalowalne zbieranie danych manipulacyjnych w terenieUczenie polityk chwytania i manipulacji oburęcznejZadania dynamiczne i długohoryzontoweTransfer polityk między różnymi robotami (cross-embodiment)

Jak działa

Człowiek wykonuje zadanie trzymając ręczny chwytak równoległy z zamontowaną kamerą GoPro (obiektyw rybie oko), IMU i bocznymi lusterkami zwiększającymi pole widzenia. Ruch chwytaka jest odtwarzany metodą wizyjno-inercyjną (SLAM) do trajektorii 6-DoF, a szerokość chwytu z obrazu. Zebrane demonstracje służą do wyuczenia polityki dyfuzyjnej (diffusion policy) metodą uczenia przez naśladowanie. Na etapie wdrożenia stosuje się dopasowanie opóźnień (latency matching) obserwacji i akcji oraz reprezentację akcji względem bieżącej trajektorii, dzięki czemu ta sama polityka działa na różnych ramionach robotycznych.

Rozwiązany problem

Zbieranie danych do nauki manipulacji zwykle wymaga drogiego robota i teleoperacji, co jest wolne i ogranicza różnorodność środowisk. UMI usuwa potrzebę robota na etapie zbierania danych — demonstracje nagrywa człowiek tanim chwytakiem (~30 s na demonstrację, ponad 3× szybciej niż teleoperacja), zachowując możliwość wdrożenia na realnym robocie.

Komponenty

Ręczny chwytak równoległyInterfejs zbierania danych

Przenośne, tanie urządzenie trzymane w ręce, odwzorowujące chwytak robota, używane do nagrywania demonstracji.

Kamera GoPro z obiektywem rybie okoObserwacja wizyjna

Szerokokątna kamera na nadgarstku rejestrująca obraz sceny z punktu widzenia chwytaka.

IMUEstymacja ruchu

Czujnik inercyjny wspierający odtwarzanie ruchu chwytaka (tracking wizyjno-inercyjny).

Boczne lusterkaRozszerzenie pola widzenia

Lusterka rozszerzające efektywne pole widzenia kamery o widoki boczne sceny.

Interfejs polityki dyfuzyjnejUczenie i wdrożenie polityki

Warstwa uczenia i wdrożenia oparta na diffusion policy, z dopasowaniem opóźnień i reprezentacją akcji względem trajektorii.

Implementacja

Implementacje referencyjne
universal_manipulation_interface
Python · REAL @ Stanford (Cheng Chi et al.)
Oficjalna
Pułapki implementacyjne
Błędy śledzenia SLAMWysoka

Słabe oświetlenie, rozmycie ruchu lub brak tekstury mogą powodować dryf lub utratę śledzenia trajektorii chwytaka.

Rozwiązanie:Kalibracja, IMU, lusterka poszerzające widok, kontrola warunków nagrywania.
Niedopasowanie opóźnieńWysoka

Różnica opóźnień między nagraniem a robotem docelowym pogarsza działanie polityki, jeśli nie jest skompensowana.

Rozwiązanie:Dopasowanie opóźnień na etapie inferencji (latency matching).
Rozbieżność ucieleśnienia (embodiment gap)Średnia

Różnice kinematyki i dynamiki między ręcznym chwytakiem a ramieniem robota mogą ograniczać transfer.

Rozwiązanie:Reprezentacja akcji względem trajektorii, projekt interfejsu niezależny od sprzętu.

Ewolucja

Oryginalny paper · 2024 · Robotics: Science and Systems (RSS) 2024 · Cheng Chi
Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song
2024
Publikacja UMI (RSS 2024)
Punkt przełomowy

Prezentacja UMI na RSS 2024; finalista nagrody Best Systems Paper. Otwarty sprzęt i oprogramowanie.

2024
UMI on Legs

Rozszerzenie UMI na manipulację mobilną z robotami kroczącymi/kwadrupedami.

Hiperparametry (konfigurowalne osie)

Horyzont obserwacjiŚrednia

Liczba ostatnich klatek obserwacji podawanych polityce.

Horyzont akcjiŚrednia

Liczba kroków akcji przewidywanych naraz przez politykę dyfuzyjną.

Dopasowanie opóźnieńWysoka

Kompensacja różnicy opóźnień obserwacji i wykonania między nagraniem a robotem docelowym.

Wąskie gardło obliczeniowe

Śledzenie wizyjno-inercyjne (SLAM)

Odtworzenie trajektorii 6-DoF chwytaka z obrazu rybie oko i IMU jest kluczowym i wrażliwym krokiem przetwarzania danych; jego jakość decyduje o użyteczności demonstracji.

Wymagania sprzętowe

Podstawowe

Uczenie i inferencja polityki dyfuzyjnej wymaga akceleracji GPU.