Dane wejsciowe sa przetwarzane (np. tokenizacja tekstu) i przepuszczane przez siec (forward pass) ze stalymi wagami. W modelach autoregresyjnych najpierw nastepuje prefill - rownolegle policzenie reprezentacji promptu i wypelnienie KV cache - a potem decode: w petli model przewiduje rozklad nastepnego tokenu, wybiera token (sampling wg strategii dekodowania, np. temperatura/top-p), dopisuje go do kontekstu i powtarza, az do warunku stopu. Aby zwiekszyc efektywnosc, stosuje sie m.in. buforowanie KV, grupowanie zapytan (batching), kwantyzacje wag/aktywacji oraz wyspecjalizowany sprzet. Wynik jest zwracany jako predykcja lub wygenerowana sekwencja.
Wytrenowany model jest bezuzyteczny, dopoki nie zostanie uruchomiony na nowych danych. Inferencja to etap, ktory dostarcza faktycznej wartosci uzytkownikom - a jej opoznienie, przepustowosc i koszt decyduja o oplacalnosci i uzytecznosci wdrozenia.
Rownolegle policzenie reprezentacji wejscia i wypelnienie KV cache; wyznacza czas do pierwszego tokenu.
Sekwencyjne, autoregresyjne generowanie kolejnych tokenow, po jednym na krok.
Sposob wyboru tokenu z rozkladu (np. greedy, temperatura, top-p, top-k, beam search).
Oficjalna
Buforowanie kluczy i wartosci uwagi, by nie przeliczac calego kontekstu przy kazdym tokenie.
Oficjalna
Zwiekszanie batcha podnosi przepustowosc, ale i latencje; trudno zoptymalizowac wszystkie trzy naraz.
KV cache rosnie liniowo z dlugoscia kontekstu, szybko wyczerpujac pamiec akceleratora.
Wraz z upowszechnieniem LLM rozwinieto techniki obnizania kosztu inferencji: KV cache, ciagly batching, kwantyzacja.
Przyspieszenie dekodowania przez model-szkicownik proponujacy tokeny weryfikowane przez wiekszy model.
Modele rozumujace zaczely wydawac wiecej obliczen w czasie inferencji, by poprawic jakosc - inferencja stala sie tez dzwignia zdolnosci.
