Wnioskowanie
Kwantyzacja modeli
AktywnyAktualizacja: 28 sierpnia 2026Opublikowany
Kwantyzacja modeli to technika kompresji zmniejszająca precyzję reprezentacji liczbowej modelu, aby ograniczyć pamięć i przyspieszyć obliczenia.
Kluczowa
innowacja
Zmniejszenie precyzji liczbowej wag/aktywacji (np. z FP16 do INT8/INT4/FP8/FP4) w celu redukcji pamięci i przyspieszenia inferencji.
Kategoria
Wnioskowanie
Poziom abstrakcji
Wzorzec
Poziom operacji
Element architekturyModel
Zastosowania
Wdrażanie LLM na GPU o ograniczonej pamięciInferencja na brzegu i na urządzeniachRedukcja kosztów serwowania modeliFormaty FP8/FP4/INT4/AWQ/GPTQ w vLLM/SGLang
Jak działa
Wartości są mapowane z wyższej precyzji na niższą za pomocą skali (i punktu zerowego), często per-kanał lub per-grupa. Kwantyzację można wykonywać po treningu (PTQ, np. GPTQ, AWQ) lub uwzględniać w treningu (QAT); nowoczesne akceleratory wspierają formaty FP8/FP4 sprzętowo.
Rozwiązany problem
Duże modele wymagają ogromnej pamięci i przepustowości; pełna precyzja jest kosztowna i utrudnia wdrożenie na urządzeniach o ograniczonych zasobach.