Robocikowo>ROBOCIKOWO
Robotyka

Vision-based tactile sensing

2009AktywnyAktualizacja: 19 sierpnia 2026Opublikowany
Podejście do czucia dotyku, w którym kamera rejestruje deformację miękkiej, elastycznej powierzchni styku, a algorytmy rekonstruują geometrię i siły kontaktu w wysokiej rozdzielczości.
Kluczowa innowacja
Pomiar dotyku poprzez kamerę obserwującą deformację miękkiego, elastycznego materiału — zamieniając bogaty w informacje obraz na wysokorozdzielczą mapę kształtu i sił kontaktu.
Kategoria
Robotyka
Poziom abstrakcji
Wzorzec
Poziom operacji
Sterowanie robotemDane
Zastosowania
Zręczna manipulacja robotyczna i chwytanieRozpoznawanie obiektów i tekstur w dłoniWykrywanie poślizgu i regulacja siły chwytuUczenie polityk manipulacji (robot learning)Kontrola jakości i pomiary powierzchni

Jak działa

Miękka, elastyczna „skóra” (elastomer) odkształca się przy kontakcie z obiektem. Kamera umieszczona pod nią rejestruje tę deformację, a wielokolorowe/wielokątowe oświetlenie LED pozwala odtworzyć lokalne nachylenia powierzchni (stereo fotometryczne) i zrekonstruować trójwymiarowy kształt odcisku. Ruch markerów naniesionych na membranę pozwala szacować siły styczne i poślizg. Uzyskane mapy (głębokość, siły) są podawane do algorytmów sterowania lub sieci neuronowych uczących polityki manipulacji.

Rozwiązany problem

Klasyczne czujniki dotyku (matryce takseli) mają niską rozdzielczość przestrzenną. Vision-based tactile sensing dostarcza gęstej, wysokorozdzielczej informacji o kontakcie, kluczowej dla zręcznej manipulacji.

Kluczowe mechanizmy

Miękki elastomer jako powierzchnia styku
Kamera rejestrująca deformację od wewnątrz
Oświetlenie LED i stereo fotometryczne (mapa nachyleń)
Markery do estymacji sił stycznych i poślizgu
Rekonstrukcja geometrii/sił metodami klasycznymi lub sieciami neuronowymi

Mocne strony i ograniczenia

Mocne strony
✓Bardzo wysoka rozdzielczość przestrzenna dotyku
✓Bogata informacja: kształt, tekstura, siły, poślizg
✓Tani sensor oparty na kamerze i elastomerze
✓Dobrze współpracuje z uczeniem maszynowym
Ograniczenia
✗Rozmiar/grubość czujnika (kamera + elastomer)
✗Zużywanie i uszkodzenia elastomeru
✗Latencja i koszt przetwarzania obrazu
✗Ograniczone pole styku i zależność od oświetlenia

Komponenty

Elastomer (skóra)Powierzchnia styku

Miękka, odkształcalna warstwa styku, często z odblaskową membraną.

Oficjalna

KameraAkwizycja obrazu

Rejestruje deformację elastomeru od wewnątrz.

Oficjalna

Oświetlenie LEDOświetlenie

Wielokątowe/wielokolorowe światło umożliwiające stereo fotometryczne.

Oficjalna

Algorytm rekonstrukcjiPrzetwarzanie

Zamienia obraz na mapy głębokości i sił (klasycznie lub siecią).

Oficjalna

Implementacja

Implementacje referencyjne
GelSight (MIT / GelSight Inc.)
— · GelSight
Oficjalna
DIGIT (Meta AI)
— · Meta AI
Oficjalna
Pułapki implementacyjne
Zużycie i uszkodzenia elastomeruŚrednia

Miękka powierzchnia niszczy się przy intensywnym kontakcie.

Rozwiązanie:Wymienne nakładki, twardsze materiały, ochrona powierzchni.
Rozmiar i integracjaŚrednia

Kamera + elastomer są grubsze niż cienkie matryce takseli.

Rozwiązanie:Miniaturyzacja optyki, lustra, mniejsze moduły.
Latencja przetwarzaniaŚrednia

Rekonstrukcja z obrazu wprowadza opóźnienie w pętli sterowania.

Rozwiązanie:Lekkie modele, akceleracja na krawędzi.

Ewolucja

2009
GelSight (MIT)
Punkt przełomowy

Laboratorium Edwarda Adelsona demonstruje wysokorozdzielczy czujnik dotyku oparty na wizji.

2020
DIGIT i tanie czujniki dla robotyki

Meta AI udostępnia tani, kompaktowy czujnik wizyjno-dotykowy.

2024
Integracja z uczeniem manipulacji

Czujniki wizyjno-dotykowe coraz częściej zasilają polityki manipulacji (VLA, robot learning).

Hiperparametry (konfigurowalne osie)

Metoda rekonstrukcjiWysoka
fotometrycznaKlasyczne stereo fotometryczne z kalibracją.
sieć neuronowaUczenie mapowania obraz→głębokość/siły.
MarkeryŚrednia
z markeramiUmożliwiają estymację sił stycznych i poślizgu.
bez markerówProstszy obraz, mniej informacji o siłach.