Granite Speech 5.0 470M TurboCTC

Granite Speech 5.0 TurboCTC to kompaktowy model automatycznego rozpoznawania mowy (ASR) o 470 milionach parametrów, przeznaczony wyłącznie dla języka angielskiego. IBM projektował go pod kątem bardzo wysokiej szybkości inferencji i wdrożeń na laptopach, smartfonach oraz innych urządzeniach brzegowych.

Model składa się z konforemnego (Conformer) kodera akustycznego z blokową uwagą własną (block self-attention), samowarunkowaniem (self-conditioning) oraz czasowym zmniejszaniem rozdzielczości, zakończonego warstwą wyjściową o 16 384 jednostkach BPE. Architektura liczy 16 bloków Conformera, redukuje częstotliwość ramek z 100 Hz do 12,5 Hz (subsampling 8x) i stosuje samowarunkowane CTC z warstwy środkowej.

Model wytrenowano na około 60 000 godzin anglojęzycznego audio z publicznych korpusów (m.in. Common Voice 17, MLS, LibriSpeech, VoxPopuli, YODAS, AMI, Earnings-22) oraz danych syntetycznych, używając funkcji straty Connectionist Temporal Classification (CTC). Inferencja jest nieautoregresyjna, z zachłannym (greedy) dekodowaniem. Model udostępniono na licencji Apache 2.0.