Zespół Frontier AI & Robotics (FAR) firmy Amazon, we współpracy z badaczami z UC Berkeley, Stanford i CMU, zaprezentował Perceptive Humanoid Parkour (PHP). Ten nowy framework (struktura/platforma) umożliwia robotom humanoidalnym autonomiczne poruszanie się w złożonych, pełnych przeszkód środowiskach z poziomem zwinności dorównującym ludzkim parkourowcom.
Zademonstrowany na humanoidalnym robocie Unitree G1, system pozwala maszynie wykonywać szybkie przeskoki (vaults), zeskakiwać z platform i wspinać się na ściany sięgające 1,25 metra – czyli około 96% jego własnej wysokości.
Rozwiązanie wyzwania kompozycji
Główną przeszkodą w humanoidalnym parkourze nie jest tylko wykonanie pojedynczego skoku, ale problem „długiego horyzontu” (long-horizon problem): łączenie różnorodnych, bogatych w kontakt fizyczny umiejętności w płynne pokonywanie trasy. Tradycyjne uczenie ze wzmocnieniem (RL) często zmaga się z tą „luką ucieleśnienia” (embodiment gap) oraz niedoborem wysokiej jakości danych o dynamicznym ruchu.
Aby temu zaradzić, framework PHP wykorzystuje motion matching (dopasowywanie ruchu), technikę zapożyczoną z branży gier wideo. Łącząc ze sobą segmenty lokomocji i atomowe (pojedyncze, niepodzielne) klipy parkourowe, system generuje różnorodne kinematyczne trajektorie referencyjne. Proces ten „zagęszcza” rzadkie dane o ruchu, pozwalając robotowi nauczyć się, jak podchodzić do przeszkód z różnych odległości i pod różnymi kątami.
Ten potok opiera się bezpośrednio na wcześniejszych pracach Amazona z systemem OmniRetarget, który tłumaczy dane o ludzkim ruchu (motion-capture) na fizycznie wykonalne ruchy robota. Używając OmniRetarget do stworzenia początkowej biblioteki umiejętności, PHP może skalować się do złożonych manewrów, takich jak cat-vaulting (skok kuczny z podparciem rąk) przy prędkościach ok. 3 m/s.
Dynamiczne przeskoki (Dynamic Vaulting): Framework PHP umożliwia robotowi Unitree G1 autonomiczne wykonywanie złożonych manewrów, takich jak cat-vault, utrzymując maksymalną prędkość ruchu do przodu na poziomie do 3,41 m/s.
Dlaczego naśladowanie to za mało
Chociaż uczenie przez naśladowanie (w szczególności DAgger – Dataset Aggregation) jest często używane do trenowania robotów, zespół FAR uznał je za niewystarczające dla wybuchów wysokiego momentu obrotowego (high-torque bursts) wymaganych w parkourze. Robot naśladujący człowieka mógłby „utknąć” podczas fazy podciągania, ponieważ strata naśladownictwa (imitation loss) nie priorytetyzuje eksplozywnej siły potrzebnej do pokonania przeszkody.
PHP rozwiązuje to za pomocą hybrydowego celu treningowego, który łączy DAgger z uczeniem ze wzmocnieniem (RL).
- DAgger zapewnia regularyzację, która sprawia, że ruchy wyglądają naturalnie i po ludzku.
- RL zapewnia sygnał napędzany sukcesem, zachęcając do działań o wysokiej wartości momentu obrotowego, niezbędnych do powodzenia.
Powstała w ten sposób polityka „ucznia” (student policy) jest trenowana w potężnych symulacjach – przy użyciu nawet 16 384 równoległych środowisk – i jest destylowana do pojedynczej polityki wzrokowo-ruchowej (visuomotor policy), która działa w całości w oparciu o pokładowe wykrywanie głębi (onboard depth sensing).
Wydajność Zero-Shot w świecie rzeczywistym
Jednym z najbardziej znaczących wyników badań nad PHP jest udany transfer z symulacji do rzeczywistości typu zero-shot (zero-shot sim-to-real transfer). Polityki wytrenowane w symulacji zadziałały na fizycznym robocie Unitree G1 bez konieczności dostrajania ich w świecie rzeczywistym (real-world fine-tuning).
W eksperymentach robot zademonstrował:
- Zwinność na poziomie człowieka: Wspinaczka na ścianę o wysokości 1,25 metra w 3,63 sekundy, co odpowiada czasom osiąganym przez ludzkich parkourowców.
- Adaptację w zamkniętej pętli (Closed-Loop Adaptation): Pokonanie 60-sekundowego ciągłego toru, na którym przeszkody były przemieszczane w trakcie biegu.
- Autonomiczny wybór umiejętności: Wykorzystanie wizji do decydowania, czy wejść, przeskoczyć, czy się wspiąć, w oparciu o wysokość i geometrię wykrytych obiektów.
Strategiczny plan
Wydanie PHP następuje po udostępnieniu jako open-source Holosoma, ujednoliconego frameworka Amazona do symulacji i trenowania humanoidów. Razem narzędzia te tworzą połączony ekosystem, którego celem jest tworzenie „wszechstronnych” (generalist) mózgów robotycznych.
Choć parkour może wydawać się jedynie ćwiczeniem akademickim, jest on kluczowym polem testowym dla robotów, które ostatecznie będą musiały poruszać się w „nieustrukturyzowanych środowiskach” magazynów i tras dostaw. Ponieważ Amazon dąży do celu, jakim jest 75% automatyzacji w swoich operacjach, zdolność robota do autonomicznego pokonywania fizycznych przeszkód staje się podstawowym imperatywem biznesowym, a nie tylko wyczynem technicznym.
Zespół FAR zauważa, że przyszłe iteracje będą prawdopodobnie koncentrować się na dodaniu semantycznego rozumienia scen (semantic scene understanding) i bardziej zaawansowanego sprzętu, takiego jak silniejsze chwytaki (grippers) do bardziej ekstremalnych manewrów wspinania się i zwisania. Na ten moment PHP stanowi znaczący krok w kierunku stworzenia humanoidów tak zwinnych i elastycznych, jak ludzie, z którymi mają współpracować.
