ASR
Jak działa
Typowy potok ASR zaczyna się od frontendu cech: sygnał jest dzielony na krótkie ramki i zamieniany na log-melowe banki filtrów (dawniej MFCC). Enkoder akustyczny (RNN, Transformer lub Conformer) przetwarza sekwencję cech na reprezentacje ukryte. Model treningowy łączy je z tekstem jednym z trzech podejść: CTC sumuje prawdopodobieństwa wszystkich wyrównań z tokenem pustym (blank), RNN-T dodaje sieć predykcyjną i sieć łączącą generujące wyjście token po tokenie, a modele enkoder-dekoder z uwagą dekodują autoregresyjnie. Na etapie dekodowania stosuje się beam search, często z fuzją zewnętrznego modelu języka (shallow fusion). Jakość ocenia się przez WER.
Rozwiązany problem
Mowa to zmienny w czasie, ciągły sygnał bez wyraźnych granic słów, a tej samej wypowiedzi towarzyszą różnice akcentu, tempa, szumu i kanału nagrania. ASR rozwiązuje problem odwzorowania takiego sygnału na dyskretny tekst bez potrzeby ręcznego wyrównywania dźwięku do liter oraz w sposób odporny na te zmienności.
Komponenty
Zamienia surowy sygnał na ramki cech (log-mel filterbanks / MFCC).
Modeluje sekwencję cech, tworząc reprezentacje ukryte (RNN, Transformer, Conformer).
Mapuje reprezentacje akustyczne na tokeny tekstowe (CTC, RNN-T, uwaga).
Opcjonalny zewnętrzny model języka poprawiający poprawność językową podczas dekodowania.
Oficjalna
Implementacja
WER gwałtownie rośnie przy szumie, akcentach, nakładającej się mowie i kanałach nagrania innych niż treningowe.
Modele enkoder-dekoder (np. Whisper) potrafią generować tekst niepoparty audio, zwłaszcza na ciszy lub długim nagraniu.
Modele uczone na krótkich oknach (np. 30 s w Whisper) wymagają dzielenia nagrania na fragmenty, co może powodować błędy na granicach.
Ewolucja
Rozpoznawanie cyfr mówionych przez jednego mówcę — jeden z pierwszych systemów ASR.
Statystyczne modele akustyczne oparte na ukrytych modelach Markowa dominują w ASR na kolejne dekady.
Uczenie sekwencji bez ręcznego wyrównania dźwięku do etykiet — fundament end-to-end ASR.
Głębokie sieci jako modele akustyczne oraz transduktory RNN-T (Graves) jako alternatywa dla CTC.
End-to-end ASR na dużą skalę oparty na CTC (Baidu).
Model enkoder-dekoder z mechanizmem uwagi dla ASR.
Konwolucyjnie wzbogacony Transformer; wyniki SOTA na LibriSpeech.
Samonadzorowane uczenie reprezentacji mowy redukujące zapotrzebowanie na dane etykietowane.
Trening na dużą skalę ze słabym nadzorem; odporny, wielojęzyczny ASR (OpenAI).
Hiperparametry (konfigurowalne osie)
Sieć kodująca sygnał akustyczny.
Sposób wiązania akustyki z tekstem i generowania wyjścia.
Poziom tokenizacji wyjścia.
Włączenie zewnętrznego modelu języka do dekodowania.
Reprezentacja wejściowa sygnału.
Paradygmat wykonania
Nowoczesne modele ASR (Transformer/Conformer, CTC/RNN-T/uwaga) są gęstymi sieciami neuronowymi; cała sieć jest aktywna dla każdego fragmentu audio.
Równoległość
Enkoder akustyczny (zwłaszcza Transformer/Conformer, CTC) przetwarza ramki równolegle w treningu, natomiast dekodowanie autoregresyjne (uwaga, RNN-T) jest sekwencyjne token po tokenie.
Wymagania sprzętowe
Trening i wsadowa inferencja dużych modeli akustycznych (Transformer/Conformer) korzystają z mnożenia macierzy na rdzeniach tensorowych.
Lekkie modele CTC/RNN-T oraz streamingowy ASR na urządzeniu (on-device) działają na CPU.