Robocikowo>ROBOCIKOWO
computer-vision

VSR

2016AktywnyOpublikowano: 22 września 2026Aktualizacja: 22 września 2026Opublikowany
Rozpoznawanie treści lub aktywności mowy na podstawie ruchu warg i twarzy z obrazu wideo, bez sygnału audio (wizualne rozpoznawanie mowy, VSR).
Kluczowa innowacja
Odczytanie wypowiadanej treści wyłącznie z wizualnego ruchu warg i twarzy, co pozwala rozpoznawać mowę bez dostępu do sygnału dźwiękowego.
Kategoria
computer-vision
Poziom abstrakcji
Paradygmat
Poziom operacji
ModelAplikacja
Zastosowania
Ciche interfejsy mowy (silent speech interface)Audio-wizualne rozpoznawanie mowy (AVSR) w hałasieInterakcja człowiek–robot: wykrywanie, kto i kiedy mówiDostępność i wsparcie dla osób niesłyszącychAnaliza materiału wideo bez dźwięku (forensics, archiwa)Wykrywanie aktywności mowy z obrazu (visual voice activity detection)

Jak działa

Pipeline VSR zaczyna od detekcji twarzy i lokalizacji regionu zainteresowania (ROI) wokół ust, a następnie wyrównania i normalizacji sekwencji klatek. Wizualny front-end (przestrzenno-czasowa konwolucja / 3D-CNN) wydobywa cechy ruchu warg z sekwencji obrazów. Model sekwencyjny (GRU/LSTM lub Transformer/Conformer) modeluje zależności czasowe między klatkami. Dekoder mapuje sekwencję cech na tekst — przy użyciu straty CTC (dopuszczającej różne długości wejścia i wyjścia) lub architektury sequence-to-sequence z atencją. Ponieważ wiele fonemów daje ten sam kształt ust (homofeny/wizemy), model musi korzystać z kontekstu językowego. Nowsze podejścia (np. AV-HuBERT) wykorzystują samonadzorowane pretrenowanie na dużych zbiorach audio-wizualnych, aby złagodzić niedobór etykietowanych danych.

Rozwiązany problem

Rozpoznawanie mowy zawodzi lub jest niedostępne, gdy sygnał audio jest zaszumiony, tłumiony przez otoczenie albo w ogóle nieobecny (np. nagranie bez dźwięku, hałaśliwa hala, wiele osób mówiących naraz). VSR pozwala odzyskać treść wypowiedzi z samego obrazu warg oraz wskazać, kto aktualnie mówi, co poprawia odporność systemów rozpoznawania mowy i interakcji człowiek–robot w trudnych warunkach akustycznych.

Komponenty

Wizualny front-end (przestrzenno-czasowy CNN / 3D-CNN)Ekstrakcja cech ruchu warg z sekwencji klatek regionu ust

Sieć konwolucyjna operująca na wymiarze czasowym i przestrzennym, przetwarzająca wykadrowany region ust w sekwencję reprezentacji cech.

INSekwencja wykadrowanych klatek regionu ust.
OUTSekwencja wektorów cech na klatkę.

Oficjalna

Model sekwencyjny (RNN/GRU/LSTM lub Transformer/Conformer)Modelowanie zależności czasowych między klatkami

Warstwa rekurencyjna lub oparta na atencji, agregująca cechy w czasie w kontekstową reprezentację sekwencji.

INSekwencja cech z front-endu.
OUTKontekstowa reprezentacja czasowa.

Oficjalna

Dekoder / funkcja straty (CTC lub sequence-to-sequence)Mapowanie reprezentacji sekwencji na tekst

Moduł dekodujący: strata CTC dopuszczająca różne długości wejścia/wyjścia lub dekoder seq2seq z atencją generujący znaki/słowa.

Oficjalna

Implementacja

Implementacje referencyjne
AV-HuBERT
Python · Meta (facebookresearch)
Oficjalna
auto_avsr
Python · Pingchuan Ma
Pułapki implementacyjne
Homofeny / wizemyWysoka

Wiele różnych fonemów daje ten sam widoczny kształt ust, co czyni odczyt wieloznacznym.

Rozwiązanie:Modelowanie kontekstu językowego, dekodery seq2seq, modele języka.
Jakość detekcji i wyrównania ROI ustWysoka

Błędna detekcja twarzy/landmarków lub niestabilne kadrowanie degradują wejście.

Rozwiązanie:Precyzyjna detekcja landmarków, stabilizacja i normalizacja ROI.
Wrażliwość na pozę, oświetlenie, akcent i tempo mowyŚrednia

Zmiany warunków nagrania i cech mówcy pogarszają generalizację.

Rozwiązanie:Augmentacja danych, uczenie na zróżnicowanych zbiorach in-the-wild.
Niedobór dużych, etykietowanych zbiorów wideoŚrednia

Adnotacja wideo mowy jest kosztowna, co ogranicza uczenie nadzorowane.

Rozwiązanie:Samonadzorowane pretrenowanie audio-wizualne (np. AV-HuBERT).

Ewolucja

Oryginalny paper · 2016 · arXiv 2016 · Yannis M. Assael
LipNet: End-to-End Sentence-level Lipreading
Yannis M. Assael, Brendan Shillingford, Shimon Whiteson, Nando de Freitas
2006
Zbiór GRID

Publikacja audio-wizualnego korpusu GRID (Cooke i in.), standardowego benchmarku dla VSR na poziomie słów/zdań.

2016
LipNet — end-to-end VSR zdaniowe
Punkt przełomowy

Pierwsze kompleksowe end-to-end VSR na poziomie zdań (przestrzenno-czasowy CNN + GRU + CTC), 95,2% dokładności na GRID.

2018
VSR in-the-wild na Transformerach (LRS2/LRS3)
Punkt przełomowy

Deep Audio-Visual Speech Recognition (Afouras i in.) — VSR na niewymuszonych nagraniach z użyciem Transformerów oraz zbiory LRS2-BBC i LRS3-TED.

2022
AV-HuBERT — samonadzorowane reprezentacje audio-wizualne
Punkt przełomowy

Samonadzorowane uczenie przez maskowaną predykcję multimodalnych klastrów; 26,9% WER na LRS3 (433 h).

Hiperparametry (konfigurowalne osie)

Region zainteresowania (ROI ust/twarzy)Krytyczna

Sposób detekcji, kadrowania i wyrównania regionu ust — silnie wpływa na jakość.

Architektura backboneWysoka

Wybór front-endu i modelu sekwencyjnego (3D-CNN, Transformer, Conformer).

Dekoder / funkcja stratyŚrednia

CTC vs sequence-to-sequence z atencją.

Poziom wyjścia (znaki/fonemy/słowa/zdania)Średnia

Ziarnistość jednostek wyjściowych rozpoznawania.

Paradygmat wykonania

Tryb główny
Gęsty
Wzorzec aktywacji
Wszystkie ścieżki aktywne

Równoległość

Poziom równoległości
Częściowo równoległy

Warianty transformerowe/konformerowe trenują się równolegle po klatkach; warianty rekurencyjne są sekwencyjne w czasie.

Zakres
TreningInferencja

Wymagania sprzętowe

Podstawowe

Trening i inferencja przestrzenno-czasowych CNN oraz Transformerów na sekwencjach wideo.