speech-audio-processing
Conformer
Architektura kodera dla rozpoznawania mowy łącząca self-attention (zależności globalne) z warstwami konwolucyjnymi (zależności lokalne) w ramach jednego bloku.
Kluczowa
innowacja
Połączenie self-attention i konwolucji w jednym bloku, dzięki czemu model jednocześnie modeluje zależności globalne i lokalne w sygnale mowy.
Kategoria
speech-audio-processing
Poziom abstrakcji
Zastosowania
Automatyczne rozpoznawanie mowy (ASR)Transkrypcja mowy na tekstModele mowy na urządzeniach brzegowych
Jak działa
Blok Conformera składa się z modułów feed-forward otaczających moduł self-attention oraz moduł konwolucyjny (struktura typu „macaron"). Self-attention odpowiada za kontekst globalny, a konwolucja depthwise za wzorce lokalne. Sekwencje cech logmel są przetwarzane przez stos takich bloków, często z redukcją rozdzielczości czasowej (subsampling).
Mocne strony i ograniczenia
Mocne strony
✓Łączy kontekst globalny i lokalny
✓Wysoka dokładność w ASR
✓Dobra efektywność obliczeniowa
Ograniczenia
✗Złożoność implementacyjna większa niż w czystym Transformerze
✗Koszt self-attention rośnie z długością sekwencji