Robotyka

ViTacFormer

2025BadawczyOpublikowano: 21 października 2026Aktualizacja: 21 października 2026Opublikowany

Transformerowa metoda uczenia reprezentacji wizyjno-dotykowej do zręcznej manipulacji wieloplcowymi dłońmi, łącząca cross-attention z autoregresyjnym przewidywaniem dotyku.

Kluczowa innowacja

Łączy wizję i dotyk w jednej przestrzeni reprezentacji przez enkoder cross-attention z autoregresyjną głowicą przewidującą przyszłe sygnały dotykowe, co napędza uczenie przez naśladowanie dla wieloplcowych dłoni i umożliwia precyzyjną, długohoryzontową manipulację zręczną.

Kategoria

Robotyka

Poziom abstrakcji

System

Poziom operacji

Sterowanie robotemModelTrening

Zastosowania

Zręczna manipulacja wieloplcowymi dłońmi antropomorficznymiManipulacja bogata w kontakt i w warunkach zasłonięcia wizyjnegoDługohoryzontowe, wieloetapowe zadania manipulacjiUczenie przez naśladowanie dla robotycznych dłoniFuzja czujników wizyjno-dotykowych w sterowaniu robotem

Jak działa

Wysokorozdzielcze obserwacje wizyjne i dotykowe są kodowane i łączone przez enkoder cross-attention we wspólną reprezentację latentną. Autoregresyjna głowica przewiduje przyszłe sygnały dotykowe (przewidywanie kontaktu), co wymusza nauczenie przestrzeni latentnej niosącej informacje o nadchodzącym styku. Ta reprezentacja zasila politykę uczoną przez naśladowanie demonstracji, generującą akcje dla wieloplcowej dłoni. Trening prowadzony jest według programu „od łatwego do trudnego", który stopniowo zwiększa trudność zadań, doprecyzowując przestrzeń wizyjno-dotykową oraz poprawiając dokładność i odporność polityki.

Rozwiązany problem

Metody oparte wyłącznie na wizji zawodzą w precyzyjnej, bogatej w kontakt manipulacji, zwłaszcza gdy obszar styku jest zasłonięty lub otoczenie jest nieustrukturyzowane. ViTacFormer dostarcza spójnej reprezentacji łączącej dotyk z wizją, aby umożliwić drobnoziarnistą kontrolę i długohoryzontowe, wieloetapowe zadania zręcznej manipulacji.

Komponenty

Enkoder cross-attention (fuzja wizja-dotyk)Fuzja międzymodalna wejść

Łączy wysokorozdzielcze sygnały wizyjne i dotykowe we wspólną reprezentację latentną za pomocą mechanizmu cross-attention.

Autoregresyjna głowica predykcji dotykuAntycypacja sygnałów dotykowych

Przewiduje przyszłe sygnały kontaktu, wymuszając reprezentację latentną niosącą informacje o nadchodzącym styku.

Polityka uczona przez naśladowanieGenerowanie akcji

Na podstawie wspólnej reprezentacji wizyjno-dotykowej generuje akcje sterujące wieloplcową dłonią.

Implementacja

Implementacje referencyjne

RoboVerseOrg/ViTacFormer

Python · RoboVerse

Oficjalna

Ewolucja

Oryginalny paper · 2025 · arXiv (preprint) · Liang Heng

ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation

Liang Heng, Haoran Geng, Kaifeng Zhang, Pieter Abbeel, Jitendra Malik

2025

Publikacja ViTacFormer (arXiv)

Punkt przełomowy

Przedstawienie architektury fuzji wizyjno-dotykowej z autoregresyjną predykcją dotyku; ~50% wyższa skuteczność i pierwsze autonomiczne długohoryzontowe zadania zręcznej manipulacji (do 11 etapów).