LIBERO
Jak działa
LIBERO definiuje zadania manipulacji za pomocą proceduralnego generatora opartego na robosuite: scena, obiekty i warunki celu opisane są w PDDL (pliki BDDL), co pozwala w zasadzie generować dowolnie wiele zadań. Cztery gotowe zestawy izolują różne typy przesunięcia rozkładu: LIBERO-Spatial zmienia rozmieszczenie przestrzenne, LIBERO-Object zmienia obiekty, LIBERO-Goal zmienia cel zadania, a LIBERO-100 łączy wiele typów wiedzy. Agent (polityka wizuomotoryczna typu behavior cloning) jest trenowany sekwencyjnie na kolejnych zadaniach, po 50 demonstracji na zadanie, a następnie oceniany pod kątem transferu w przód, zapominania i sukcesu zadania. Benchmark dostarcza kilka architektur enkodera/polityki oraz algorytmy przeciwdziałające katastroficznemu zapominaniu (Experience Replay, EWC, PackNet), porównywane z sekwencyjnym finetuningiem i baseline multitask. Eksperymenty autorów pokazały m.in., że sekwencyjny finetuning bywa lepszy w transferze w przód niż dedykowane metody lifelong, żaden pojedynczy enkoder wizualny nie jest najlepszy dla wszystkich typów transferu, a naiwny pretraining nadzorowany potrafi pogarszać wyniki.
Rozwiązany problem
Przed LIBERO brakowało standaryzowanego benchmarku, który badałby transfer wiedzy w uczeniu ustawicznym robotów manipulacyjnych i oddzielał wpływ wiedzy deklaratywnej (przestrzeń, obiekty) od proceduralnej (cele, zachowania). LIBERO umożliwia kontrolowane porównywanie polityk i algorytmów lifelong learning na wspólnym zestawie zadań, z odpornością na kolejność zadań i wpływem pretreningu jako osobnymi osiami badawczymi.
Komponenty
LIBERO-Spatial, LIBERO-Object i LIBERO-Goal po 10 zadań (każdy izoluje jeden typ przesunięcia rozkładu) oraz LIBERO-100 ze 100 zadaniami wymagającymi transferu wiedzy splecionej, dzielony na LIBERO-90 (pretrening) i LIBERO-10/LIBERO-Long (ewaluacja).
Po 50 wysokiej jakości trajektorii zebranych przez teleoperację dla każdego zadania, umożliwiających uczenie próbkowo-efektywne metodą behavior cloning.
Rozszerzalny pipeline oparty na robosuite, generujący sceny, obiekty i warunki celu z opisów w języku PDDL (zapisywanych jako pliki BDDL); w zasadzie pozwala generować nieskończenie wiele zadań.
Środowisko symulacyjne robosuite z silnikiem fizyki MuJoCo, w którym wykonywane są zadania manipulacji i renderowane obserwacje wizualne.
Referencyjne polityki wizuomotoryczne: bc_rnn_policy (ResNet + RNN), bc_transformer_policy (ResNet + Transformer) oraz bc_vilt_policy (transformer wizyjno-językowy ViLT).
Zestaw algorytmów przeciwdziałających katastroficznemu zapominaniu: sekwencyjny finetuning (base), Experience Replay (ER), Elastic Weight Consolidation (EWC), PackNet oraz baseline uczenia wielozadaniowego (multitask).
Implementacja
Eksperymenty autorów pokazały, że naiwny nadzorowany pretraining potrafi obniżać skuteczność agenta w kolejnym uczeniu ustawicznym (LLDM), zamiast ją poprawiać.
Żadna pojedyncza architektura enkodera wizualnego nie jest najlepsza dla wszystkich typów transferu wiedzy, co utrudnia dobór jednej domyślnej polityki.
Wyniki uczenia ustawicznego zależą od kolejności prezentowania zadań, co może zaburzać porównania między metodami.
Ewolucja
Bo Liu i współpracownicy publikują LIBERO na NeurIPS 2023 Datasets and Benchmarks Track wraz z kodem (MIT) i danymi demonstracji (CC BY 4.0).
LIBERO staje się jednym ze standardowych zestawów ewaluacyjnych dla modeli Vision-Language-Action i uogólnionych polityk manipulacji (m.in. OpenVLA).
Hiperparametry (konfigurowalne osie)
Który z zestawów LIBERO jest używany, determinujący badany typ transferu wiedzy.
Metoda przeciwdziałania zapominaniu użyta w sekwencyjnym treningu.
Wybór enkodera wizualnego i głowicy sekwencyjnej polityki wizuomotorycznej.
Liczba trajektorii demonstracji wykorzystywanych do treningu na jedno zadanie.
Kolejność, w jakiej zadania są prezentowane w treningu sekwencyjnym — wpływa na transfer i zapominanie.
Wymagania sprzętowe
Trening i ewaluacja polityk wizuomotorycznych oraz renderowanie obserwacji z MuJoCo/robosuite korzystają z akceleracji GPU (m.in. renderowanie EGL na GPU).