Tactile Imitation Learning
Jak działa
1) Zbieranie demonstracji: operator (teleoperacja, rękawica, kinesthetic teaching) wykonuje zadanie, a system rejestruje synchronicznie obraz, odczyty dotykowe (np. mapy nacisku z takseli lub obrazy z czujników wizyjno-dotykowych typu GelSight/DIGIT) oraz akcje robota. 2) Reprezentacja dotyku: surowe odczyty koduje się do cech — bezpośrednio, poprzez wstępnie trenowane enkodery dotykowe (self-supervised) lub przez fuzję z wizją (np. cross-attention). 3) Fuzja multimodalna: wizja i dotyk łączone są wcześnie, późno lub przez uwagę krzyżową, tworząc wspólną reprezentację stanu styku. 4) Uczenie polityki: metodą behavior cloning (często z chunkowaniem akcji, jak w ACT) mapuje się obserwację na sekwencję akcji; część metod przewiduje też przyszłe sygnały dotykowe jako zadanie pomocnicze. 5) Wdrożenie: polityka działa w pętli zamkniętej, reagując na bieżący kontakt podczas sterowania robotem.
Rozwiązany problem
Czysto wizyjne uczenie przez naśladowanie zawodzi w zadaniach bogatych w kontakt, gdzie liczą się siła nacisku, poślizg i lokalna geometria styku — wielkości słabo obserwowalne z obrazu, zwłaszcza przy okluzji dłoni lub chwytanego obiektu. Dotykowe uczenie przez naśladowanie dostarcza politykom bezpośredni sygnał o kontakcie, poprawiając precyzję i odporność zręcznej manipulacji.
Komponenty
Czujnik na palcach/dłoni — macierz takseli lub czujnik wizyjno-dotykowy (np. GelSight, DIGIT) — dostarczający odczytów kontaktu niewidocznych dla kamer.
Moduł (np. uwaga krzyżowa) łączący cechy wizualne i dotykowe; w ViTacFormer dodatkowo przewiduje przyszłe sygnały kontaktu.
Sieć uczona metodą behavior cloning z demonstracji, często z chunkowaniem akcji (ACT), generująca sekwencje sterowania w pętli zamkniętej.
Zbiór demonstracji (teleoperacja, rękawica, play data) rejestrujący równolegle obraz, odczyty dotykowe i akcje.
Implementacja
Czujniki dotykowe zużywają się i różnią między egzemplarzami; luka domenowa (sim-to-real, sensor-to-sensor) degraduje politykę.
Niewspółmierne częstotliwości i opóźnienia strumienia wizji i dotyku utrudniają fuzję i uczenie reprezentacji.
Jak w każdym uczeniu przez naśladowanie, błędy kumulują się przy odejściu od rozkładu demonstracji (compounding errors).
Teleoperacja zręcznych, bogatych w kontakt zadań jest trudna, a dane dotykowe rzadkie i kosztowne do pozyskania.
Ewolucja
Self-supervised wstępne trenowanie reprezentacji dotykowych na danych typu play, umożliwiające polityki zręcznej manipulacji z dotyku.
Bazowa metoda uczenia przez naśladowanie (wizyjna) z chunkowaniem akcji, później rozszerzana o sygnał dotykowy.
Uczenie zręczności dotykowej z wykorzystaniem wizualnych sygnałów nagrody/incentywów.
Enkoder cross-attention fuzjujący wizję i dotyk z autoregresyjną predykcją kontaktu; naśladowanie dla dłoni wielopalczastych i długohoryzontowe zadania zręczne.
Hiperparametry (konfigurowalne osie)
Typ i rozdzielczość czujnika (macierz takseli vs. czujnik wizyjno-dotykowy) determinuje bogactwo sygnału kontaktu.
Sposób łączenia wizji i dotyku: fuzja wczesna, późna lub przez uwagę krzyżową.
Liczba zebranych demonstracji — kluczowa dla jakości polityki w behavior cloning.
Reprezentacja i horyzont akcji (np. chunkowanie akcji) wpływające na płynność i stabilność sterowania.
Wymagania sprzętowe
Trening multimodalnych polityk (transformery wizyjno-dotykowe, enkodery) korzysta z akceleracji GPU.
Sam paradygmat nie wymaga konkretnego hardware'u; inferencja polityki może działać na skromniejszych platformach wbudowanych robota.