WER
Jak działa
1) Transkrypcję hipotezy (wyjście ASR) i transkrypcję referencyjną normalizuje się (np. małe litery, usunięcie interpunkcji). 2) Oba ciągi słów dopasowuje się do siebie, wyznaczając minimalny dystans edycyjny (Levenshteina) na poziomie słów. 3) Zlicza się trzy rodzaje błędów: substytucje (S — słowo zamienione na inne), usunięcia (D — słowo referencyjne pominięte) oraz wstawienia (I — słowo dodane przez system). 4) Sumę błędów dzieli się przez liczbę słów w referencji N: WER = (S + D + I) / N. Metryka opiera się na dystansie Levenshteina i jest zwykle raportowana po tej samej normalizacji dla wszystkich porównywanych systemów.
Rozwiązany problem
Potrzebny jest obiektywny, powtarzalny i porównywalny między modelami sposób mierzenia dokładności transkrypcji mowy. Ocena 'na ucho' nie pozwala rzetelnie porównywać systemów ani śledzić postępu. WER sprowadza jakość ASR do jednej liczby, uwzględniając trzy typy błędów — podstawienia, usunięcia i wstawienia — względem wzorcowej transkrypcji.