Visuotactile Sensing
Jak działa
Miękka, elastyczna „skóra” (elastomer) odkształca się przy kontakcie z obiektem. Umieszczona pod nią kamera rejestruje tę deformację od wewnątrz, a wielokolorowe/wielokątowe oświetlenie LED pozwala odtworzyć lokalne nachylenia powierzchni metodą stereo fotometrycznego i zrekonstruować trójwymiarowy kształt odcisku. Markery naniesione na membranę, śledzone między klatkami, umożliwiają estymację sił stycznych i wykrywanie poślizgu. Otrzymane mapy (głębokość, siły, przepływ markerów) są następnie podawane albo do klasycznych algorytmów sterowania, albo do sieci neuronowych uczących polityki manipulacji — coraz częściej jako dodatkowa modalność obok wzroku w modelach Vision-Language-Action.
Rozwiązany problem
Klasyczne czujniki dotyku (matryce takseli) mają niską rozdzielczość przestrzenną i słabo oddają teksturę, mikropoślizg czy dokładny rozkład sił. Czucie wizuotaktylne rozwiązuje to, zamieniając kontakt w obraz o wysokiej rozdzielczości — dostarczając gęstej informacji o kształcie i siłach, niezbędnej do zręcznej manipulacji i pewnego chwytania.
Komponenty
Miękka, odkształcalna warstwa styku, zwykle przezroczysty żel z odblaskową membraną.
Oficjalna
Miniaturowa kamera rejestrująca deformację elastomeru od wewnątrz.
Oficjalna
Wielokolorowe/wielokątowe światło umożliwiające stereo fotometryczne.
Oficjalna
Naniesione punkty, których ruch pozwala szacować siły styczne i poślizg.
Oficjalna
Zamienia obraz na mapy głębokości i sił — klasycznie (fotometrycznie) lub siecią neuronową.
Oficjalna
Implementacja
Miękka powierzchnia niszczy się przy intensywnym kontakcie.
Moduł kamera+żel jest grubszy niż cienkie matryce takseli.
Rekonstrukcja z obrazu wprowadza opóźnienie w pętli sterowania.
Ewolucja
Johnson i Adelson (MIT) demonstrują wysokorozdzielczy czujnik dotyku oparty na kamerze i elastomerze — narodziny czucia wizuotaktylnego.
Biomimetyczny optyczny czujnik dotyku śledzący ruch wewnętrznych brodawek/markerów — alternatywna rodzina czujników wizuotaktylnych.
Meta AI udostępnia tani, kompaktowy czujnik wizyjno-dotykowy do manipulacji w dłoni, upowszechniając technologię w robot learning.
Czujniki wizuotaktylne coraz częściej zasilają polityki manipulacji i modele VLA; pojawiają się multimodalne palce (np. DIGIT 360) łączące dotyk z innymi modalnościami.
Hiperparametry (konfigurowalne osie)
Sposób zamiany obrazu deformacji na geometrię i siły.
Obecność markerów na membranie determinuje pomiar sił stycznych i poślizgu.
Kompromis między czułością (miękki żel) a trwałością (twardszy żel).
Wymagania sprzętowe
Neuronowa rekonstrukcja obrazu deformacji korzysta z akceleracji GPU.
Klasyczna rekonstrukcja fotometryczna może działać na CPU.