ROBOTIS opublikował 18 października porównanie trzech polityk manipulacji na robocie AI Worker. Zadanie — rozdzielenie dwóch włożonych w siebie kubków papierowych — wersja czysto wizyjna rozwiązała w 0 procentach prób. Architektura przewidująca przyszły stan dotyku osiągnęła 40 procent.
Najważniejsze w skrócie
- Baseline ACT na samym RGB i stanie stawów: 0 proc. skuteczności
- Tactile ACT z surowymi odczytami nacisku przepuszczonymi przez MLP: 10 proc.
- ViTacFormer przewidujący przyszłe stany dotyku: 40 proc.
- Sprzęt: AI Worker, dwa ramiona 7 DoF, dwie dłonie HX5-D20, kamera ZED
- 90 takseli na parę dłoni, przestrzeń akcji ma 54 wymiary
Dlaczego kamera tu nie wystarcza
Rozdzielenie dwóch zagnieżdżonych kubków wymaga siły chwytu w wąskim przedziale. Za mało i górny kubek nie wyjdzie. Za dużo i zgniecie się albo pociągnie dolny za sobą.
Z perspektywy kamery chwyt jednego i dwóch kubków wygląda niemal identycznie. Dodatkowo palce zasłaniają obiekt w momencie zamykania dłoni, więc obraz z kamery głowowej przestaje nieść informację o kontakcie.
Trzy polityki, jedno zadanie
| Polityka | Co dostaje na wejściu | Skuteczność |
|---|---|---|
| Baseline ACT | obraz RGB + stan stawów | 0% |
| Tactile ACT | + surowy nacisk z opuszków przez MLP jako dodatkowe tokeny | 10% |
| ViTacFormer | predykcja przyszłego dotyku, potem warunkowanie dekodera akcji | 40% |
Na robocie AI Worker Baseline ACT nie potrafił regulować siły kontaktu — przewracał kubki albo w ogóle ich nie rozdzielał. Tactile ACT ustabilizował chwyt, ale robot najczęściej podnosił oba kubki naraz.
ViTacFormer traktuje dotyk inaczej. Ta dwuetapowa architektura najpierw przewiduje przyszłe stany dotykowe na podstawie historii wizualnej, propriocepcyjnej i dotykowej, a dopiero potem warunkuje dekoder akcji na przewidzianych tokenach. Robot zsunął górny kubek, odstawił go i dokończył układanie.
Nagranie porównawcze opublikowane przez ROBOTIS razem z dokumentacją techniczną.
Co mierzy ten sprzęt
Każda dłoń HX5-D20 ma pięć czujników na opuszkach, a każdy zwraca macierz nacisku 3×3. Pojedyncze pole tej macierzy to taksel.
Dane do uczenia z demonstracji zbierano teleoperacją przez Meta Quest 3. Każda trajektoria zawiera obraz, stan robota, nacisk dotykowy i akcje operatora. Przed treningiem i inferencją odejmowana jest wartość spoczynkowa każdego taksela.
Dlaczego to ważne?
Wniosek jest sprzeczny z intuicją kogoś, kto właśnie kupuje czujniki. Sensoryka bez dopasowanej architektury zostaje w dużej mierze niewykorzystana, a koszt rośnie po stronie sprzętu, nie wyniku.
Zadania z bogatym kontaktem i obiektami odkształcalnymi to dokładnie ten obszar, w którym polityki wizyjne wykładają się najszybciej. Kamera widzi kształt, nie siłę.
Co dalej?
- 40 procent to wciąż wynik daleki od wdrożenia, autorzy sami wskazują margines do poprawy
- Kod, dokumentacja techniczna i nagranie porównawcze są dostępne publicznie w dokumentacji ROBOTIS
Źródła
- ROS Discourse — Teaching Robots to Feel with AI Worker Tactile Imitation Learning
- ROBOTIS Docs — HX5-D20: ACT with Tactile Sensors
