Operator wykonuje ruchy na urządzeniu master (rękawica mocap, egzoszkielet, kontroler, ramię-lider). Ruchy są mierzone, przeliczane na przestrzeń zadania lub przegubów robota i przesyłane łączem komunikacyjnym (często o niskich opóźnieniach, np. przez WebRTC) do robota-followera, który je odtwarza. Czujniki robota i kamery przesyłają z powrotem obraz oraz — w układach bilateralnych — siły i momenty, zamykając pętlę sprzężenia zwrotnego. Trajektorie stanów i akcji rejestrowane podczas teleoperacji tworzą zbiory demonstracji, na których metodą behavior cloning / imitation learning trenuje się autonomiczne polityki manipulacji.
Pozwala wykonywać zręcznościowe zadania fizyczne tam, gdzie autonomia robota jest niewystarczająca lub obecność człowieka niebezpieczna, a jednocześnie rozwiązuje problem braku danych treningowych: dostarcza demonstracji sterowanych przez człowieka do uczenia polityk manipulacji, których nie da się łatwo pozyskać z internetu.
Urządzenie wejściowe mierzące ruchy i intencje człowieka: rękawica mocap, egzoszkielet, kontroler, ramię-lider lub gogle VR.
Kanał transmisji sygnałów sterujących i telemetrii między operatorem a robotem, o możliwie niskim opóźnieniu (np. WebRTC).
Robot odtwarzający ruchy operatora w zdalnym środowisku, wyposażony w napędy, chwytak/efektor i czujniki.
Zwrot obrazu, sił i momentów do operatora, dający poczucie kontaktu ze zdalnym środowiskiem.
Oficjalna
Opóźnienia w łączu komunikacyjnym pogarszają stabilność sterowania bilateralnego i jakość telepresence.
Różnice w kinematyce i skali między człowiekiem a robotem utrudniają wierne odwzorowanie ruchu.
Raymond Goertz w Argonne National Laboratory buduje elektryczny manipulator master-slave z dwukierunkowym sprzężeniem siłowym — narodziny nowoczesnej teleoperacji.
Komercjalizacja teleoperowanej chirurgii robotycznej upowszechnia teleoperację poza laboratoriami.
Tanie, dwuręczne układy teleoperacyjne (ALOHA) pozwalają zbierać demonstracje do uczenia precyzyjnych polityk manipulacji z minutami danych.
Modele Vision-Language-Action trenowane m.in. na trajektoriach robota zbieranych teleoperacyjnie łączą wiedzę z sieci ze sterowaniem robotem.
Opóźnienie w pętli operator-robot; krytyczne dla stabilności i telepresence.
Sposób mapowania ruchu operatora na przestrzeń zadania/przegubów robota.
Rodzaj informacji zwrotnej: wizualna, haptyczna (siły/momenty), dwukierunkowa.
Akcje robota są w całości warunkowane wejściem operatora w czasie rzeczywistym.
Sterowanie jest z natury sekwencyjne i czasu rzeczywistego; równoległe jest dopiero późniejsze uczenie na zebranych danych.
