Robocikowo>ROBOCIKOWO
Architektura

TDT

2023AktywnyOpublikowano: 16 października 2026Aktualizacja: 16 października 2026Opublikowany
Wariant architektury Transducer (RNN-T) od NVIDIA, który jednocześnie przewiduje token i jego czas trwania, pomijając ramki wejściowe i przyspieszając inferencję w rozpoznawaniu mowy.
Kluczowa innowacja
Rozszerza architekturę Transducera (RNN-T) o jednoczesną predykcję tokenu oraz jego czasu trwania (liczby ramek wejściowych), dzięki czemu dekoder może pomijać ramki i prowadzić inferencję znacznie szybciej niż klasyczny Transducer przetwarzający wyjście enkodera ramka po ramce.
Kategoria
Architektura
Poziom abstrakcji
Building block
Poziom operacji
Element architekturyInferencjaModel
Zastosowania
Automatyczne rozpoznawanie mowy (ASR)Tłumaczenie mowy (speech translation)Klasyfikacja intencji i wypełnianie slotów (SLU)Szybka inferencja modeli mowy w produkcji

Jak działa

Sieć lacząca (joint network) TDT ma dwa wyjścia: jedno generuje rozkład nad tokenami (wraz z symbolem blank), drugie — rozkład nad predefiniowanym zbiorem mozliwych czasów trwania (liczby ramek do pominiecia). Oba wyjścia sa normalizowane niezaleznie. W kazdym kroku dekodowania model wybiera token oraz czas trwania; przewidziana wartość duration określa, o ile ramek enkodera należy przesunąć wskaźnik przed kolejnym krokiem. Pozwala to pominąć ramki, które nie wnoszą nowych tokenów, i skrócić liczbę kroków dekodowania. Model jest trenowany z wariantem funkcji straty transducera uwzględniającym predykcję czasu trwania.

Rozwiązany problem

Klasyczny Transducer (RNN-T) podczas dekodowania przetwarza wyjście enkodera ramka po ramce i w wielu krokach emituje symbol pusty (blank) bez wyprowadzenia tokenu, co wydłuża inferencję. TDT ogranicza ten narzut, pozwalając modelowi przeskakiwać nieinformacyjne ramki na podstawie przewidzianego czasu trwania.

Komponenty

Enkoder akustycznyPrzetwarza sygnał wejściowy na sekwencję reprezentacji ramek.

Enkoder (np. Conformer/FastConformer w modelach Parakeet) mapuje cechy audio na ukryte reprezentacje ramek.

Sieć predykcjiAutoregresyjny dekoder etykiet modelujący historię wyemitowanych tokenów.

Odpowiednik dekodera w RNN-T; dostarcza kontekst językowy zależny od dotychczas wyemitowanych tokenów.

Sieć łącząca z dwoma wyjściamiŁączy reprezentacje enkodera i sieci predykcji i generuje dwa niezależnie normalizowane rozkłady.

W odróżnieniu od klasycznego Transducera ma dwa wyjścia: rozkład nad tokenami oraz rozkład nad czasami trwania (duration).

Implementacja

Implementacje referencyjne
NVIDIA NeMo
Python · NVIDIA
Oficjalna

Ewolucja

Oryginalny paper · 2023 · Hainan Xu
Efficient Sequence Transduction by Jointly Predicting Tokens and Durations
Hainan Xu, Fei Jia, Somshubra Majumdar, He Huang, Shinji Watanabe, Boris Ginsburg
2023
Wprowadzenie architektury TDT
Punkt przełomowy

Xu i in. publikują TDT jako rozszerzenie RNN-T przewidujące token i jego czas trwania; implementacja trafia do NVIDIA NeMo.

Efficient Sequence Transduction by Jointly Predicting Tokens and Durations (artykuł)
2024
Zastosowanie w modelach NVIDIA Parakeet

TDT staje się dekoderem w rodzinie modeli Parakeet (np. parakeet-tdt-1.1b), łączących enkoder FastConformer z dekoderem TDT.

Hiperparametry (konfigurowalne osie)

Zbiór możliwych czasów trwaniaWysoka

Predefiniowany zbiór wartości czasu trwania (liczba pomijanych ramek), które model może przewidzieć. Szerszy zakres umożliwia agresywniejsze pomijanie ramek i szybszą inferencję, potencjalnie kosztem dokładności.

Paradygmat wykonania

Tryb główny
Gęsty

Sieć jest gęsta (wszystkie parametry aktywne). Dynamika polega na warunkowym pomijaniu ramek wejściowych podczas dekodowania, zależnie od przewidzianego czasu trwania.

Wzorzec aktywacji
Wszystkie ścieżki aktywne

Równoległość

Poziom równoległości
Sekwencyjny

Dekodowanie jest autoregresyjne (sekwencyjne), lecz pomijanie ramek redukuje liczbę kroków względem klasycznego Transducera; trening jest zrównoleglany.

Zakres
Trening