Latencję mierzy się na osi czasu pojedynczego żądania: od wysłania promptu do pierwszego tokenu (TTFT), następnie odstępy między kolejnymi tokenami (ITL) i moment ostatniego tokenu (latencja end-to-end). TTFT zależy głównie od fazy prefill (długość promptu, moc obliczeniowa), a TPOT od fazy dekodowania (ograniczonej przepustowością pamięci: odczyt wag i KV cache przy każdym kroku). Optymalizacja polega na skracaniu tych składników: mniejszy/kwantyzowany model, GQA i mniejszy KV cache, FlashAttention, dekodowanie spekulatywne, lepszy sprzęt (HBM), rozdzielenie prefill/decode oraz dobór rozmiaru batcha pod cel latencyjny.
Wolne odpowiedzi psują doświadczenie użytkownika i ograniczają zastosowania interaktywne oraz agentowe. Inference Latency jako metryka pozwala precyzyjnie zmierzyć i optymalizować responsywność (TTFT, TPOT) niezależnie od przepustowości.
Czas od wysłania promptu do pierwszego wygenerowanego tokenu; zdominowany przez fazę prefill.
Średni czas generowania każdego kolejnego tokenu w fazie dekodowania.
Całkowity czas do ukończenia odpowiedzi (≈ TTFT + liczba_tokenów × TPOT).
Średnia latencja ukrywa złe doświadczenia; liczy się ogon rozkładu (p95/p99).
Optymalizacja przepustowości (duży batch) może pogorszyć latencję użytkownika.
Pomiary bez zmiennego ruchu, długości kontekstu i sieci nie oddają produkcji.
Wraz z produkcyjnym użyciem LLM latencja staje się metryką pierwszorzędną obok przepustowości.
TTFT i czas na token stają się standardowymi metrykami porównań i SLA dla LLM.
Długie łańcuchy 'myślenia' istotnie zwiększają latencję end-to-end, wymuszając nowe kompromisy.
Złożoność czasowa: L ≈ TTFT + n·TPOT.
Większy batch zwiększa przepustowość, ale pogarsza latencję pojedynczego żądania.
Mniejszy lub kwantyzowany model zmniejsza latencję kosztem jakości.
Dłuższy prompt wydłuża prefill (TTFT), a rosnący KV cache — TPOT.
Latencja dekodowania jest memory-bound — kluczowa jest wysoka przepustowość pamięci (HBM) GPU.
Akceleratory o dużej przepustowości pamięci również obniżają TPOT.
