Robotyka

Instant Policy

2024BadawczyOpublikowano: 28 października 2026Aktualizacja: 28 października 2026Opublikowany

Metoda in-context imitation learning dla robotów: z 1–2 demonstracji generuje akcje przez dyfuzję na grafie, bez douczania na zadanie.

Kluczowa innowacja

Traktuje jedną lub dwie demonstracje jako przykłady in-context i generuje akcje robota uczonym procesem dyfuzji na grafie, co pozwala opanować nowe zadanie natychmiast, bez douczania sieci na dane zadanie.

Kategoria

Robotyka

Poziom abstrakcji

Paradygmat

Poziom operacji

Sterowanie robotemInferencjaModel

Zastosowania

Natychmiastowe uczenie codziennych zadań manipulacyjnych robota z 1–2 demonstracjiIn-context imitation learning bez douczania na zadanieTransfer między różnymi ucieleśnieniami (cross-embodiment)Zero-shot transfer do zadań definiowanych językiem naturalnym

Jak działa

1) Reprezentacja grafowa: z segmentowanych chmur punktów budowany jest heterogeniczny graf, który jednocześnie wyraża kontekst (demonstracje), bieżącą obserwację i przyszłe akcje, wprowadzając właściwe obciążenia indukcyjne i umożliwiając ustrukturyzowane wnioskowanie o relacjach robot–otoczenie. 2) ICIL jako generowanie grafu przez dyfuzję: uczony jest rozkład nad grafami za pomocą procesu dyfuzji z forward/backward łańcuchem Markowa — podczas treningu do reprezentacji dodawany jest szum, a model uczy się go usuwać. 3) Inferencja: startując od akcji próbkowanych z rozkładu normalnego, model iteracyjnie aktualizuje (odszumia) wyłącznie części grafu reprezentujące akcje robota, implicytnie modelując warunkowy rozkład akcji (np. 8 kolejnych akcji w przyszłość). 4) Dane: trening na pseudo-demonstracjach — dowolnych trajektoriach generowanych w symulacji — jako praktycznie nieskończonej puli danych.

Rozwiązany problem

Klasyczne imitation learning / behavioural cloning koduje każde zadanie w wagach sieci i wymaga zebrania wielu demonstracji oraz kosztownego treningu dla każdego nowego zadania. Instant Policy eliminuje douczanie na zadanie: nowe umiejętności są przyswajane natychmiast z 1–2 demonstracji podanych jako kontekst, co radykalnie skraca czas wdrożenia nowego zachowania robota.

Komponenty

Heterogeniczna reprezentacja grafowaReprezentacja wiążąca demonstracje, obserwację i akcje w jedną strukturę

Graf budowany z segmentowanych chmur punktów, który jednocześnie reprezentuje kontekst (demonstracje), bieżącą obserwację i przyszłe akcje, wprowadzając obciążenia indukcyjne dla ustrukturyzowanego wnioskowania.

Uczony proces dyfuzji na grafieGenerator akcji (denoising) warunkowany kontekstem i obserwacją

Model dyfuzji uczący rozkład nad grafami (forward/backward łańcuch Markowa). Przy inferencji odszumia iteracyjnie wyłącznie węzły akcji, implicytnie modelując warunkowy rozkład akcji robota.

Pseudo-demonstracje z symulacjiŹródło danych treningowych

Dowolne trajektorie generowane w symulacji, używane jako praktycznie nieskończona pula danych treningowych zamiast ręcznie zbieranych demonstracji na zadanie.