Gloss
Jak działa
Anotator zapisuje każdy znak manualny słowem języka mówionego WIELKIMI LITERAMI w kolejności migania; elementy niemanualne i prozodię notuje jako indeksy górne z zakresem w nawiasach, literowanie palcowe łącznikami, a formy zleksykalizowane symbolem #. W potoku ML: (1) sign2gloss2text — sieć wizyjna rozpoznaje sekwencję glos z wideo (zwykle uczona funkcją CTC, bo brak wyrównania czasowego), a druga sieć tłumaczy glosy na zdanie; (2) w modelach łączonych (Sign Language Transformers) glosa służy jako pomocniczy cel nadzoru CTC obok głównego celu tłumaczenia. Ponieważ szyk glos różni się od szyku języka mówionego (niemonotoniczność), etap glosa→tekst realizuje pełne tłumaczenie sekwencja-do-sekwencji.
Rozwiązany problem
Języki migowe nie mają powszechnie przyjętej formy pisanej, a ciągłe miganie trudno wyrównać do tekstu mówionego. Glosa dostarcza dyskretnej, stokenizowanej reprezentacji pośredniego poziomu, która umożliwia nadzorowane rozpoznawanie i tłumaczenie oraz ilościową ewaluację systemów.
Komponenty
Znak manualny zapisany słowem języka mówionego pisanym wielkimi literami, umieszczony w kolejności migania.
Notowane zwykle jako indeksy górne z zakresem oznaczonym nawiasami, np. [I LIKE]^negative.
Czyste literowanie oznaczane łącznikami (W-I-K-I); formy zleksykalizowane symbolem hash (#JOB).
Częściowe kodowanie gramatyki przestrzennej; z natury niepełne, co jest źródłem utraty informacji.
Implementacja
Glosa spłaszcza jednoczesność, gramatykę przestrzenną i elementy niemanualne, tworząc wąskie gardło informacyjne ograniczające jakość tłumaczenia.
Anotacja glosami wymaga wyszkolonych lingwistów lub natywnych osób migających; zbiory pozostają małe (rzędu 10–20 tys. par).
Konwencje różnią się między korpusami i językami migowymi, co utrudnia reprodukowalność i transfer między zbiorami.
Szyk glos różni się od szyku słów w języku mówionym, więc wyrównanie glosa→tekst jest nietrywialne.
Ewolucja
Zbiór prognoz pogody niemieckiej telewizji z anotacją glosami — standardowy benchmark ciągłego rozpoznawania języka migowego.
Camgöz i in. formalizują glosę jako reprezentację pośredniego poziomu w neuronowym tłumaczeniu języka migowego.
Łączone kompleksowe rozpoznawanie i tłumaczenie; glosa jako pomocniczy cel CTC drastycznie poprawia jakość tłumaczenia.
Chen i in. łączą sieć sign-to-gloss i gloss-to-text mapperem wizualno-językowym, dowartościowując potok glosowy transfer learningiem.
Zhou i in. wskazują „wąskie gardło informacyjne" reprezentacji glosowej i deficyt danych, proponując tłumaczenie bez glos.
Rozszerza FLORES/FLEURS o amerykański język migowy jako wideo; pokazuje, że modele frontier niemal nie rozumieją ASL.
Hiperparametry (konfigurowalne osie)
Brak uniwersalnego standardu — konwencje różnią się między korpusami i językami migowymi (ASL, DGS, BSL).
Liczba unikalnych glos w korpusie wpływa na trudność rozpoznawania i pokrycie.
Czy i jak szczegółowo notuje się mimikę, prozodię i gramatykę przestrzenną obok glos manualnych.