ACT
Jak działa
1) Chunking akcji: zamiast jednej akcji polityka przewiduje blok k kolejnych akcji (w oryginalnej pracy k=90 przy sterowaniu pozycjami stawów z częstotliwością 50 Hz), co redukuje efektywny horyzont zadania ~k-krotnie. 2) CVAE: podczas treningu enkoder CVAE kompresuje sekwencję akcji i obserwację stawów do zmiennej stylu z; dekoder (właściwa polityka) rekonstruuje sekwencję akcji warunkując się na obrazach z kilku kamer, pozycjach stawów i z. Enkoder jest odrzucany w czasie testu (z ustawiane na wartość średnią priora). 3) Architektura: enkodery obrazu ResNet dostarczają cechy wizualne, które transformerowy enkoder i dekoder przetwarzają, przewidując docelowe pozycje stawów. 4) Strata: rekonstrukcja uczona stratą L1 (zamiast częstszej L2), co daje precyzyjniejsze modelowanie sekwencji, plus człon KL dla CVAE. 5) Temporal ensembling: w czasie działania polityka jest odpytywana częściej niż długość chunku, a nakładające się przewidywania akcji są uśredniane (wagi malejące wykładniczo), co wygładza ruch i poprawia stabilność.
Rozwiązany problem
Rozwiązuje problem kumulacji błędów (compounding error) w uczeniu przez naśladowanie: gdy polityka przewiduje akcje pojedynczo, małe błędy odciągają robota od rozkładu danych treningowych, a kolejne błędy narastają na długim horyzoncie. Dodatkowo mierzy się z niestacjonarnością ludzkich demonstracji (ta sama obserwacja bywa opisana różnymi akcjami). Przewidując akcje w chunkach i stosując model generatywny, ACT skraca efektywny horyzont i wygładza działanie bez drogiego, precyzyjnego sprzętu.
Komponenty
Przewidywanie bloku k kolejnych akcji zamiast pojedynczej akcji; skraca efektywny horyzont i ogranicza kumulację błędów.
Model generatywny: enkoder kompresuje sekwencję akcji i obserwację do zmiennej stylu z, dekoder (polityka) rekonstruuje akcje. Enkoder odrzucany w teście.
Integruje cechy z wielu kamer i pozycje stawów oraz dekoduje sekwencję docelowych pozycji stawów.
Ekstrahują cechy wizualne z obrazów z kilku punktów widzenia, podawane do transformera.
Uczenie rekonstrukcji sekwencji akcji stratą L1 zamiast L2 — autorzy zaobserwowali precyzyjniejsze modelowanie akcji.
W czasie działania polityka jest odpytywana częściej niż długość chunku, a nakładające się przewidywania są uśredniane z wykładniczo malejącymi wagami, co wygładza ruch.
Implementacja
Zbyt mały chunk nie redukuje kumulacji błędów; zbyt duży czyni politykę mniej reaktywną i trudniejszą do nauczenia.
Agresywne uśrednianie nakładających się chunków wygładza ruch, ale może opóźniać reakcję na zmiany w otoczeniu.
ACT uczy się wyłącznie z demonstracji; niestacjonarne lub niespójne dane teleoperacyjne pogarszają politykę.
Ewolucja
Zhao, Kumar, Levine i Finn publikują ACT w pracy o taniej platformie ALOHA (RSS 2023), osiągając 80-90% skuteczności na precyzyjnych zadaniach oburącz z ~10 min demonstracji.
ACT staje się jedną z referencyjnych polityk uczenia przez naśladowanie w otwartej bibliotece LeRobot, obok Diffusion Policy, co upowszechnia go w społeczności robotyki.
Hiperparametry (konfigurowalne osie)
Liczba kolejnych akcji przewidywanych na raz. W oryginalnej pracy k=90. Większe k mocniej skraca horyzont, ale trudniej je nauczyć i mniej reaktywnie.
Czy i jak agresywnie uśredniać nakładające się chunki w czasie działania (waga wykładnicza), kompromis między gładkością a reaktywnością.
Wymiar latentnej zmiennej stylu CVAE, która modeluje wielomodalność demonstracji.
Częstotliwość wykonywania akcji (np. 50 Hz dla pozycji stawów w oryginalnej pracy).
Waga regularizacji KL w CVAE; steruje tym, jak mocno z jest ograniczane do priora.
Paradygmat wykonania
Gęsty transformer enkoder-dekoder; wszystkie ścieżki aktywne przy każdym przejściu. Mechanizm routingu nie występuje.
Wymagania sprzętowe
Trening i inferencja transformera z enkoderami ResNet najwydajniej działają na GPU z rdzeniami tensorowymi.
Niewielka polityka ACT może działać także na skromniejszych akceleratorach wbudowanych w robota do sterowania w czasie rzeczywistym.