Low-bit training
Jak działa
Rdzeniem jest reprezentacja tensorów w wąskim formacie (np. 8, 4 lub mniej bitów) przy jednoczesnym kontrolowaniu błędu kwantyzacji. W treningu mieszanej precyzji mnożenia macierzy wykonywane są w niskiej precyzji, ale akumulacja i aktualizacja wag odbywa się na kopii w wyższej precyzji (master weights), a skalowanie straty zapobiega niedomiarowi (underflow) małych gradientów. Dla FP8 i FP4 stosuje się współczynniki skali (per-tensor lub per-block, jak w formatach mikroskalowanych MX), które dopasowują zakres dynamiczny danych do wąskiego formatu. W quantization-aware training wprowadza się operacje "fake quantization" w przebiegu w przód, a gradient przepuszczany jest przez nie estymatorem prostym (straight-through estimator). Architektury 1-bitowe/ternarne (BitNet) zastępują warstwy liniowe wariantem BitLinear, który trenuje skrajnie niskobitowe wagi od zera.
Rozwiązany problem
Rosnące modele wymagają coraz więcej pamięci, przepustowości i energii na trening. Standardowa precyzja FP32/FP16 marnuje zasoby, bo zakres i dokładność liczb są większe, niż potrzeba. Low-bit training zmniejsza rozmiar wag i aktywacji, przyspiesza mnożenia macierzy na dedykowanym sprzęcie oraz ogranicza wolumen komunikacji w treningu rozproszonym.
Komponenty
Kopia wag przechowywana w FP32/BF16, aktualizowana przez optymalizator; chroni przed kumulacją błędu zaokrągleń przy aktualizacjach małymi krokami.
Mnożenie straty przez współczynnik przed propagacją wsteczną, aby małe gradienty nie wpadły w niedomiar w niskiej precyzji; może być statyczne lub dynamiczne.
Oficjalna
Współczynniki per-tensor lub per-block dopasowujące zakres dynamiczny danych do wąskiego formatu (FP8, FP4, MXFP4); w formatach MX współdzielone w obrębie bloku.
Oficjalna
W QAT operacja kwantyzacji w przebiegu w przód symuluje niską precyzję, a gradient przechodzi przez nią estymatorem prostym (STE).
Oficjalna
Operacja mnożenia macierzy wykonywana w niskiej precyzji z akumulacją w wyższej precyzji, zwykle na rdzeniach tensorowych GPU/TPU.
Implementacja
Aktywacje LLM zawierają wartości odstające o dużej amplitudzie, które przy wąskim formacie powodują duży błąd kwantyzacji i niestabilność.
Małe gradienty w FP16/FP8 wpadają w zero, zatrzymując uczenie.
Operacja kwantyzacji jest nieróżniczkowalna; estymator prosty (STE) wprowadza obciążenie gradientu, co może pogarszać zbieżność.
Trening 1-bit/ternarny i FP4 jest wrażliwy na dobór hiperparametrów, inicjalizację i schemat skalowania; łatwo o rozbieżność.
Ewolucja
NVIDIA wprowadza trening w FP16 z master weights i loss scaling, obniżając koszt bez utraty dokładności.
Jacob i in. łączą symulowaną kwantyzację z treningiem, by umożliwić inferencję całkowitoliczbową.
Wspólna propozycja NVIDIA/Arm/Intel standaryzuje 8-bitowy format zmiennoprzecinkowy do treningu i inferencji.
Pierwszy skalowalny Transformer trenowany od zera z wagami 1-bitowymi (warstwa BitLinear).
Formaty MX z per-blokowym współczynnikiem skali umożliwiają trening generatywnych modeli językowych poniżej 8 bitów.
Wagi {-1,0,1} dorównują modelom FP16 przy tej samej liczbie parametrów i tokenów, definiując nowe prawo skalowania.
DeepSeek-V3 (671B parametrów MoE) wykorzystuje framework treningu mieszanej precyzji FP8 w bardzo dużej skali.
NVIDIA demonstruje pretrening dużych modeli językowych w 4-bitowym formacie NVFP4.
Hiperparametry (konfigurowalne osie)
Wybór formatu: BF16/FP16, FP8 (E4M3/E5M2), FP4/MXFP4/NVFP4, INT8, 1-bit/ternary. Decyduje o kompromisie pamięć/dokładność.
Poziom, na którym dobierany jest współczynnik skali: per-tensor, per-channel lub per-block (mikroskalowanie). Drobniejsza granularność poprawia stabilność przy niższych bitach.
PTQ (po treningu) vs QAT (świadomy kwantyzacji) vs trening natywnie niskobitowy od zera. Wpływa na jakość przy niskich bitach.
Statyczny lub dynamiczny współczynnik zapobiegający niedomiarowi gradientów; kluczowy przy FP16/FP8.
Złożoność obliczeniowa
Złożoność przestrzenna: O(b).
Równoległość
Wymagania sprzętowe
Rdzenie tensorowe GPU natywnie wspierają formaty niskobitowe: FP8 od architektury Hopper, FP4 (NVFP4/MXFP4) od architektury Blackwell.
TPU wspierają BF16 i formaty całkowitoliczbowe oraz coraz niższe precyzje w treningu.
Bez dedykowanych jednostek niskobitowych korzyść wydajnościowa jest ograniczona; zysk jest głównie pamięciowy.