Śledzenie dłoni
Jak działa
Typowy potok działa dwuetapowo: najpierw detektor lokalizuje dłoń w kadrze (detektor dłoni/palmy), a następnie model regresji punktów kluczowych odtwarza współrzędne stawów (w MediaPipe Hands 21 punktów z pozycją x, y oraz względną głębią). Między kolejnymi klatkami stosuje się śledzenie i filtrację czasową, aby ograniczyć pełną ponowną detekcję i ustabilizować wynik. W urządzeniach takich jak Leap Motion geometria 3D dłoni jest rekonstruowana z pary obrazów podczerwieni, a w goglach XR z kamer wbudowanych w headset przy użyciu uczenia maszynowego. Otrzymany szkielet dłoni jest następnie interpretowany jako gesty lub mapowany na stawy chwytaka bądź manipulatora w teleoperacji.
Rozwiązany problem
Interakcja z systemami cyfrowymi i robotami wymagała fizycznych kontrolerów, rękawic z czujnikami lub markerów. Śledzenie dłoni pozwala przechwycić bogatą, wielowymiarową informację o ruchu palców bezdotykowo, z taniego sprzętu wizyjnego, co jest kluczowe dla naturalnej interakcji w XR oraz dla intuicyjnej teleoperacji zręcznych dłoni robotów.
Komponenty
Wykrywa obecność i obszar dłoni w kadrze, zwracając ramkę ograniczającą, która inicjalizuje model punktów kluczowych.
Oficjalna
Dokonuje regresji współrzędnych stawów dłoni w wykrytym regionie; w MediaPipe Hands 21 punktów (x, y oraz względna głębia).
Oficjalna
Wykorzystuje predykcję z poprzedniej klatki, aby pominąć pełną detekcję i wygładzić drgania punktów kluczowych.
Oficjalna
Implementacja
Palce zasłaniające się nawzajem lub chowane w dłoni powodują błędną estymację pozycji stawów.
Szybki ruch dłoni rozmywa obraz i degraduje dokładność punktów kluczowych.
Pojedyncza kamera RGB daje jedynie względną głębię, co utrudnia dokładne odtworzenie pozy 3D.
Stykające się lub nakładające dłonie bywają mylone lub łączone przez detektor.
Słabe lub zmienne oświetlenie oraz zewnętrzne źródła podczerwieni (np. słońce) pogarszają śledzenie.
Ewolucja
Pierwsza dostawa optycznego kontrolera Leap Motion (dwie monochromatyczne kamery podczerwieni) do bezdotykowego śledzenia dłoni, lipiec 2013.
Wprowadzenie eksperymentalnego śledzenia dłoni bez kontrolerów w Quest (grudzień 2019) z kamer wbudowanych w headset, z użyciem uczenia maszynowego.
Opublikowanie MediaPipe Hands — działające na urządzeniu śledzenie dłoni w czasie rzeczywistym z pojedynczej kamery RGB (21 punktów kluczowych).
Ogólny, wizyjny system teleoperacji zręcznej dłoni robota sterowany śledzeniem ludzkiej dłoni.
Hiperparametry (konfigurowalne osie)
Liczba stawów/punktów odtwarzanych na dłoń.
Ile dłoni jest śledzonych jednocześnie.
Typ sensora dostarczającego dane wejściowe.
Próg pewności, powyżej którego detekcja dłoni jest akceptowana.
Wariant modelu balansujący dokładność i wydajność (np. lite vs full).
Paradygmat wykonania
Odzwierciedla typowe implementacje oparte na CNN (detektor + regresja punktów kluczowych), gdzie wszystkie ścieżki sieci są aktywne dla każdej klatki.
Równoległość
Dwuetapowy potok (detekcja -> landmarki) wprowadza zależność sekwencyjną w obrębie klatki, ale inferencja CNN jest silnie równoległa na GPU/NPU.
Wymagania sprzętowe
Inferencja sieci CNN dla detekcji i regresji punktów kluczowych dobrze mapuje się na GPU.
Lekkie modele (np. MediaPipe Hands) działają w czasie rzeczywistym na CPU urządzeń mobilnych i edge.