Zespół badaczy z Uniwersytetu Stanforda, UC Berkeley i NVIDII — z Li Fei-Fei wśród 34 współautorów — opublikował T-Rex, model manipulacji reagujący na dotyk w czasie rzeczywistym. Praca, dostępna na arXiv od czerwca 2026, dokłada wysokoczęstotliwościowy sygnał dotyku do modeli typu wizja-język-akcja (VLA) i podnosi średnią skuteczność o ponad 30 punktów procentowych względem najlepszej porównywanej metody.
Najważniejsze w skrócie
- T-Rex to model zręcznej manipulacji reagujący na dotyk — praca arXiv 2606.17055, kod udostępniony na GitHub.
- 34 współautorów, w tym Li Fei-Fei, Jitendra Malik, Pieter Abbeel, Ken Goldberg i Trevor Darrell.
- Ponad 30 punktów procentowych wyższa średnia skuteczność niż najmocniejszy baseline — 65% średnio na 12 zadaniach.
- Zadania obejmują przewracanie stron, podnoszenie jajka, wyciskanie pasty, wyjmowanie cienkich kart i wkręcanie żarówki.
- Trening na 100-godzinnym zbiorze danych bogatym w sygnał dotyku.
- Architektura: Mixture-of-Transformers o zmiennej częstotliwości z dotykowym enkoderem VQ-VAE.
Dotyk jako pętla korekcji
Współczesne modele wizja-język-akcja zwykle pomijają dotyk albo traktują go jako sygnał drugorzędny. T-Rex odwraca tę logikę: wizja ustala plan, a dotyk w pętli o wysokiej częstotliwości koryguje ruch w trakcie kontaktu z obiektem. To pozwala reagować na poślizg, opór czy zmienną siłę nacisku szybciej, niż zdążyłby to zrobić sam tor wizyjny.
Wizja odpowiada na pytanie „co mam zrobić”, a dotyk nieustannie koryguje „czy to, co robię teraz, jest poprawne”.
Tę myśl autorzy stawiają w centrum pracy, argumentując, że wiele umiejętności zwanych „zdrowym rozsądkiem” nie bierze się z liczby obejrzanych obrazów, lecz z uczenia się przez długotrwały kontakt ciała ze światem.
Jak działa architektura
Rdzeniem jest architektura Mixture-of-Transformers o zmiennej częstotliwości. Wolniejszy tor planuje ruch na podstawie obrazu i języka, a szybszy tor domyka korektę dotykową — oba połączono metodą asynchronicznego kaskadowego flow matchingu, która rozdziela powolne planowanie wizualno-ruchowe od szybkiego dostrajania dotykowego. Strumień dotyku koduje osobny enkoder VQ-VAE?VQ-VAE: enkoder zamieniający ciągły sygnał na sekwencję dyskretnych tokenów działający w czasie, dzięki czemu model przetwarza dotyk jako sekwencję, a nie pojedyncze odczyty.
Trzy elementy architektury T-Rex:
Wyniki i porównanie
Na zestawie 12 zadań precyzyjnej manipulacji T-Rex osiąga średnio 65% skuteczności — o ponad 30 punktów procentowych więcej niż najmocniejszy baseline pomijający dotyk. Przewaga rośnie właśnie w zadaniach o gęstym kontakcie, gdzie sam obraz nie wystarcza: wyjęcie cienkiej karty czy wkręcenie żarówki wymaga wyczucia oporu, którego kamera nie zarejestruje. Dane treningowe to 100 godzin nagrań bogatych w dotyk, zebranych wokół podstawowych prymitywów ruchowych.
Dlaczego to ważne?
T-Rex pokazuje, że wąskim gardłem zręcznej manipulacji nie jest sama percepcja wzrokowa, lecz brak szybkiej pętli dotykowej sprzężonej z planowaniem. Włączenie dotyku jako równorzędnej modalności — a nie dodatku — przesuwa modele VLA w stronę zadań, które dotąd wymagały ręcznego strojenia. Dla robotyki przemysłowej i domowej oznacza to realniejszą perspektywę operacji na delikatnych lub śliskich obiektach, gdzie margines błędu jest minimalny, a sam obraz zawodzi.
Co dalej?
- Kod i szczegóły architektury są dostępne w publicznym repozytorium GitHub — pozwala to zespołom odtworzyć wyniki na własnych czujnikach dotyku.
- Otwartym pytaniem pozostaje przeniesienie 100-godzinnego zbioru danych na inne konstrukcje dłoni i sensory — autorzy wskazują dane, nie rozmiar modelu, jako główne ograniczenie.
