XR
Jak działa
XR opiera się na trzech filarach. Po pierwsze — śledzenie (tracking): czujniki i kamery wyznaczają w czasie rzeczywistym pozycję i orientację głowy, dłoni oraz kontrolerów (zwykle w 6 stopniach swobody). Po drugie — renderowanie: system generuje stereoskopowy obraz 3D dopasowany do ruchu użytkownika, z jak najniższym opóźnieniem motion-to-photon, by uniknąć choroby symulatorowej. Po trzecie — kompozycja sceny: w VR obraz w pełni zastępuje otoczenie, w AR treść cyfrowa jest nakładana na obraz świata, a w MR obiekty wirtualne są zakotwiczone w geometrii pomieszczenia i mogą wchodzić w interakcje z obiektami fizycznymi. W zastosowaniach robotycznych te trzy filary są sprzężone ze stanem robota: ruch dłoni operatora mapuje się na komendy manipulatora, a dane z czujników robota są renderowane jako obiekty w scenie.
Rozwiązany problem
Tradycyjne interfejsy 2D (ekran, mysz, klawiatura) źle oddają trójwymiarową przestrzeń, w której pracują roboty i maszyny. Operatorowi trudno ocenić głębię, orientację i relacje przestrzenne, co spowalnia i obarcza błędami zdalne sterowanie oraz analizę danych. XR daje przestrzenne, intuicyjne poczucie obecności i bezpośrednią manipulację w 3D, skracając dystans między intencją człowieka a działaniem robota.
Komponenty
Gogle zasłaniają realne otoczenie i wyświetlają w pełni wygenerowaną scenę 3D. W robotyce służą do teleoperacji w zrekonstruowanym środowisku zdalnym oraz do treningu w symulacji.
Użytkownik wciąż widzi otoczenie, a system dodaje do niego warstwę informacji (etykiety, strzałki, dane telemetryczne). W robotyce wspiera serwis, montaż i wizualizację stanu maszyny na miejscu.
Obiekty wirtualne są zakotwiczone w geometrii realnego pomieszczenia i reagują na nie (okluzja, kolizje). W robotyce pozwala nakładać cyfrowego bliźniaka robota na jego fizyczny odpowiednik.
Ewolucja
Ivan Sutherland buduje „Sword of Damocles” — prekursora dzisiejszych gogli.
Tom Caudell z Boeinga nazywa nakładkę cyfrową wspomagającą montaż samolotów.
Milgram i Kishino porządkują VR, AR i MR na jednej osi — fundament pojęcia XR.
Premiery Oculus Rift i HTC Vive oraz Microsoft HoloLens przenoszą XR do masowego odbiorcy i przemysłu.
Apple Vision Pro popularyzuje MR wysokiej rozdzielczości i hasło „spatial computing”.
Hiperparametry (konfigurowalne osie)
Czas od ruchu użytkownika do odpowiadającej mu zmiany obrazu. Krytyczny dla komfortu — zbyt duże opóźnienie wywołuje chorobę symulatorową.
Kątowy zasięg obrazu widziany przez użytkownika; szersze FOV zwiększa poczucie immersji.
Liczba niezależnych osi ruchu śledzonych przez system. 6DoF obejmuje rotację i translację głowy oraz kontrolerów.