Wnioskowanie

LLM Inference

2017AktywnyAktualizacja: 14 sierpnia 2026Opublikowany

Proces uruchamiania wytrenowanego LLM w celu generowania tekstu: faza prefill i autoregresyjne dekodowanie token po tokenie z pamięcią KV, z naciskiem na latencję, przepustowość i koszt.

Kluczowa innowacja

Ujmuje proces generowania tekstu przez LLM jako dwufazowy (prefill + autoregresyjne dekodowanie) z pamięcią podręczną KV, gdzie faza dekodowania jest ograniczona przepustowością pamięci — co definiuje sposób optymalizacji latencji, przepustowości i kosztu.

Kategoria

Wnioskowanie

Poziom abstrakcji

System

Poziom operacji

InferencjaUdostępnianie

Zastosowania

Serwowanie chatbotów i asystentów AIGenerowanie tekstu i kodu w produktachWsadowe (batch) przetwarzanie promptówWnioskowanie na urządzeniach brzegowych (edge/on-device)Optymalizacja kosztu i przepustowości wdrożeń LLMInferencja modeli rozumujących z długim 'myśleniem'

Jak działa

Prompt jest tokenizowany i przetwarzany w fazie prefill: model liczy reprezentacje wszystkich tokenów naraz i zapisuje pary klucz-wartość dla warstw uwagi (KV cache). Następnie w fazie decode model, korzystając z KV cache, generuje kolejne tokeny jeden po drugim; każdy nowy token dopisuje swoje wpisy do KV cache. Serwer inferencyjny grupuje żądania (batching), zarządza pamięcią KV (np. PagedAttention), stosuje parametry próbkowania (temperatura, top-p) i może używać technik przyspieszających (dekodowanie spekulatywne, kwantyzacja, FlashAttention). Generacja kończy się po osiągnięciu tokenu stopu lub limitu długości.

Rozwiązany problem

Uruchamianie LLM do generowania tekstu jest kosztowne i wolne, bo autoregresyjne dekodowanie jest sekwencyjne i ograniczone przepustowością pamięci. LLM Inference jako dziedzina rozwiązuje problem, jak generować tokeny szybko, tanio i przy wysokiej przepustowości bez zmiany wag modelu.

Kluczowe mechanizmy

Dwie fazy: prefill (równoległy) i decode (autoregresyjny)

Pamięć podręczna klucz-wartość (KV cache)

Ograniczenie przepustowością pamięci w fazie dekodowania

Ciągłe batchowanie żądań (continuous batching)

Techniki przyspieszające: PagedAttention, FlashAttention, GQA, dekodowanie spekulatywne, kwantyzacja

Parametry próbkowania (temperatura, top-p, top-k)

Mocne strony i ograniczenia

Mocne strony

✓Umożliwia praktyczne użycie LLM w czasie rzeczywistym

✓Bogaty zestaw technik optymalizacji latencji i przepustowości

✓Skalowanie przez batching i równoległość serwowania

✓Elastyczne kompromisy jakość/koszt (kwantyzacja, wysiłek rozumowania)

Ograniczenia

✗Faza dekodowania sekwencyjna i memory-bound — trudna do przyspieszenia

✗KV cache rośnie z długością kontekstu, zużywając pamięć GPU

✗Kompromis latencja (małe batch) vs przepustowość (duże batch)

✗Wysoki koszt operacyjny przy dużej skali

✗Długi kontekst i modele rozumujące dodatkowo zwiększają koszt/latencję

Komponenty

Faza prefillInicjalizacja kontekstu

Równoległe przetwarzanie całego promptu i zapełnienie KV cache; zwykle compute-bound.

Faza decodeGeneracja tokenów

Autoregresyjna generacja token po tokenie z użyciem KV cache; zwykle memory-bound.

KV cachePamięć kontekstu

Pamięć podręczna par klucz-wartość warstw uwagi, unikająca ponownego liczenia dla wcześniejszych tokenów.

Oficjalna

Scheduler / batcherOrkiestracja serwowania

Warstwa serwera grupująca żądania i zarządzająca pamięcią (np. continuous batching, PagedAttention).

Oficjalna

Implementacja

Implementacje referencyjne

vLLM

Python/CUDA · vLLM (PagedAttention)

Hugging Face Text Generation Inference (TGI)

Rust/Python · Hugging Face

Oficjalna

llama.cpp

C/C++ · ggml / llama.cpp

Pułapki implementacyjne

Przepełnienie pamięci KV cacheWysoka

Długi kontekst i duży batch szybko wyczerpują pamięć GPU przez rosnący KV cache.

Rozwiązanie:PagedAttention, kwantyzacja KV, GQA, limity długości, offloading.

Zły dobór batchu (latencja vs przepustowość)Średnia

Duże batch zwiększają przepustowość, ale pogarszają latencję pojedynczego żądania i odwrotnie.

Rozwiązanie:Continuous batching, priorytetyzacja, rozdzielenie prefill/decode.

Utrata jakości przy agresywnej kwantyzacjiŚrednia

Zbyt niska precyzja (np. INT4) może pogorszyć jakość generacji.

Rozwiązanie:Kwantyzacja kalibrowana, ewaluacja jakości, mieszana precyzja.

Ewolucja

2017

Transformer — autoregresyjne dekodowanie

Architektura, na której opiera się generacja tekstu token po tokenie i KV cache.

2022

FlashAttention — szybka, oszczędna pamięciowo uwaga

Przyspieszenie uwagi kluczowe dla prefill i długiego kontekstu.

2023

PagedAttention / vLLM — continuous batching

Punkt przełomowy

Efektywne zarządzanie KV cache i ciągłe batchowanie radykalnie zwiększyły przepustowość serwowania.

2023

Dekodowanie spekulatywne w praktyce

Model szkicujący przyspiesza generację bez utraty jakości.

2024

Rozdzielenie prefill/decode i serwowanie na skalę

Oddzielne zasoby dla faz prefill i decode optymalizują koszt i latencję w dużych wdrożeniach.

Hiperparametry (konfigurowalne osie)

Strategia batchowaniaWysoka

Sposób grupowania żądań; kompromis latencja vs przepustowość.

continuous batchingDynamiczne dołączanie żądań (np. vLLM).

static batchProstsze, gorsze wykorzystanie GPU.

Precyzja / kwantyzacjaWysoka

Format liczbowy wag/aktywacji wpływający na szybkość, pamięć i jakość.

FP16/BF16Domyślna precyzja.

INT8/FP8/INT4Kwantyzacja: mniej pamięci, szybciej, kosztem jakości.

Parametry próbkowaniaŚrednia

Temperatura, top-p, top-k sterujące losowością generacji.

temperature, top_p, top_kBalans determinizm vs kreatywność.

Złożoność obliczeniowa

Złożoność czasowa: O(n·d² + n²·d). Złożoność przestrzenna: O(P + L·n·d).

Paradygmat wykonania

Tryb główny

Gęsty

Dla modeli gęstych wszystkie wagi aktywne na token; modele MoE aktywują podzbiór ekspertów (mixture).

Wzorzec aktywacji

Wszystkie ścieżki aktywne

Równoległość

Poziom równoległości

Częściowo równoległy

Prefill jest silnie równoległy po tokenach; decode jest sekwencyjny po tokenach, ale równoległy po żądaniach (batch) i urządzeniach (tensor/pipeline parallelism).

Zakres

InferencjaPomiędzy tokenamiPomiędzy urządzeniami