Dekodowanie
Jak działa
1. Model wykonuje przebieg forward i dla bieżącej pozycji zwraca wektor logitów o rozmiarze słownika. 2. Logity dzieli się przez temperaturę T i przepuszcza przez softmax, otrzymując rozkład prawdopodobieństwa następnego tokenu. 3. Strategia dekodowania zawęża i/lub przekształca rozkład: greedy bierze argmax; top-k zostawia k najwyższych prawdopodobieństw; top-p zostawia najmniejszy zbiór o sumie ≥ p; beam search rozwija równolegle k hipotez. 4. Z tak przygotowanego rozkładu wybierany jest jeden token — losowo (próbkowanie) lub deterministycznie (greedy/beam). 5. Token dokleja się do sekwencji, aktualizuje KV cache i wraca na wejście modelu. 6. Kroki 1–5 powtarza się aż do tokenu końca (EOS) lub limitu długości. Parametry takie jak temperatura, top-k, top-p, kara za powtórzenia (repetition/presence penalty) oraz liczba wiązek sterują kompromisem między spójnością a różnorodnością.
Rozwiązany problem
Wytrenowany model językowy zwraca jedynie rozkład prawdopodobieństwa nad słownikiem, a nie gotowy tekst — ktoś musi zdecydować, który token wybrać w każdym kroku. Naiwne branie najbardziej prawdopodobnego tokenu (greedy) daje tekst poprawny, lecz powtarzalny i nudny, a czyste losowanie z pełnego rozkładu — niespójny. Dekodowanie rozwiązuje to, dostarczając rodzinę strategii, które równoważą jakość, różnorodność i determinizm generacji bez ponownego trenowania modelu, pozwalając jednocześnie sterować kosztem i szybkością generowania.
Komponenty
Przekształcenie surowych logitów modelu (po skalowaniu temperaturą) w rozkład prawdopodobieństwa nad całym słownikiem — wejście dla każdej strategii doboru tokenu.
Wybór w każdym kroku tokenu o najwyższym prawdopodobieństwie (argmax). Deterministyczne i szybkie, ale lokalnie zachłanne i podatne na powtórzenia oraz globalnie suboptymalne.
Oficjalna
Utrzymywanie k najlepszych częściowych sekwencji (wiązek) według skumulowanego log-prawdopodobieństwa. Lepsze dla zadań zamkniętych (tłumaczenie, streszczanie); dla tekstu otwartego bywa mdłe i powtarzalne.
Oficjalna
Skalowanie logitów przez temperaturę T przed softmax: T<1 wyostrza rozkład (bliżej greedy), T>1 spłaszcza (większa losowość), T=0 jest równoważne greedy.
Oficjalna
Ograniczenie wyboru do k najprawdopodobniejszych tokenów, renormalizacja ich prawdopodobieństw i losowanie z tego zbioru. Odcina długi ogon mało prawdopodobnych tokenów.
Oficjalna
Wybór najmniejszego zbioru tokenów o łącznym prawdopodobieństwie ≥ p i losowanie z niego. Liczność zbioru adaptuje się do kształtu rozkładu — więcej opcji, gdy model jest niepewny.
Oficjalna
Implementacja
Użycie beam search do generacji otwartej daje mdłe, powtarzalne wyjście (degeneracja); dla czatu/kreatywnego pisania lepsze jest próbkowanie top-p.
Zbyt wysoka temperatura prowadzi do niespójności i halucynacji, zbyt niska do powtórzeń i sztywności.
Bez kary za powtórzenia model wpada w pętle powtórzeniowe, zwłaszcza przy niskiej temperaturze.
Kolejność stosowania temperatury, top-k i top-p oraz ich wzajemne łączenie wpływa na wynik; różne biblioteki robią to inaczej.
Ewolucja
Beam search upowszechnia się jako domyślna strategia dekodowania w neuronowym tłumaczeniu maszynowym i innych zadaniach seq2seq.
Fan i wsp. (Hierarchical Neural Story Generation) popularyzują top-k sampling jako sposób na żywszą, mniej powtarzalną generację.
Holtzman i wsp. (The Curious Case of Neural Text Degeneration) pokazują, że beam search i greedy prowadzą do degeneracji tekstu, i wprowadzają nucleus (top-p) sampling jako lepszą strategię dla tekstu otwartego.
Leviathan i wsp. oraz Chen i wsp. wprowadzają speculative decoding: mały model-szkic proponuje tokeny, a model docelowy je weryfikuje — przyspieszenie bez zmiany rozkładu wynikowego.
Rozwój spekulatywnych metod (EAGLE-3) oraz dekodowania sterowanego gramatyką/JSON upowszechnia szybsze i strukturalnie poprawne generowanie.
Hiperparametry (konfigurowalne osie)
Skala logitów przed softmax; steruje losowością. Niższa = bardziej deterministyczne, wyższa = bardziej kreatywne.
Próg skumulowanego prawdopodobieństwa dla jądra próbkowania; 1.0 wyłącza odcięcie.
Liczba najprawdopodobniejszych tokenów branych pod uwagę; 0 wyłącza odcięcie.
Liczba równolegle rozwijanych hipotez w beam search; 1 = greedy.
Obniża prawdopodobieństwo tokenów już wygenerowanych, ograniczając pętle powtórzeń.
Złożoność obliczeniowa
Złożoność czasowa: O(V) na krok (dobór tokenu) + O(k·V) dla beam search. Złożoność przestrzenna: O(V) na rozkład; O(k·L) dla hipotez beam search.
Wąskie gardło obliczeniowe
Czas kroku dekodowania zdominowany jest przez przebieg forward modelu (odczyt wag i KV cache z pamięci), a nie przez sam wybór tokenu — dlatego dekodowanie dziedziczy memory-bound charakter fazy decode.
Paradygmat wykonania
Dekodowanie to warstwa doboru tokenu nad gęstym przebiegiem modelu autoregresyjnego.
Dekodowanie nie wprowadza warunkowego routingu — działa na wyjściu gęstego przebiegu forward (chyba że model bazowy jest MoE).
Równoległość
Tokeny powstają sekwencyjnie (każdy zależy od poprzednich). Równoległość uzyskuje się między zapytaniami (batching) oraz między hipotezami w beam search, nie w obrębie jednej sekwencji. Speculative decoding łamie częściowo tę sekwencyjność.
Wymagania sprzętowe
Generacja jest zdominowana przez memory-bound przebieg forward modelu; GPU o wysokiej przepustowości pamięci (HBM) decydują o liczbie tokenów na sekundę. Sam wybór tokenu jest trywialny obliczeniowo.
Logika strategii dekodowania (argmax, top-k, top-p, beam) jest lekka i przenośna; jej koszt jest pomijalny względem przebiegu modelu na dowolnym sprzęcie.