Precyzja numeryczna
Jak działa
Liczba zmiennoprzecinkowa koduje znak, wykładnik i mantysę: więcej bitów wykładnika to większy zakres dynamiczny, więcej bitów mantysy to wyższa precyzja. BF16 utrzymuje zakres FP32 (8 bitów wykładnika) przy zaledwie 7 bitach mantysy, dlatego zwykle nie wymaga skalowania straty, podczas gdy FP16 (5 bitów wykładnika) wymaga loss scaling, by uniknąć niedomiaru gradientów. FP8 występuje w wariancie E4M3 (większa precyzja) i E5M2 (większy zakres); formaty 4-bitowe używają mikroskalowania blokowego, w którym blok liczb współdzieli wspólny współczynnik skali. W treningu precyzji mieszanej mnożenia liczone są w FP16/BF16/FP8 na rdzeniach Tensor Core, a wagi wzorcowe i akumulacja pozostają w FP32. W inferencji kwantyzacja odwzorowuje wagi i aktywacje na INT8/INT4/FP8/FP4 z użyciem współczynników skali (per-tensor, per-channel lub blokowych). Zmniejszenie precyzji o połowę zwykle podwaja przepustowość Tensor Core i zmniejsza o połowę transfer danych.
Rozwiązany problem
FP32 jest kosztowny pod względem pamięci, przepustowości i energii, co ogranicza rozmiar modeli oraz tempo treningu i inferencji. Niższa precyzja drastycznie obniża te koszty, ale grozi utratą dokładności i niestabilnością numeryczną. Precyzja numeryczna to centralne pokrętło, którym balansuje się koszt obliczeń względem jakości modelu.
Komponenty
Podział bitów liczby na znak, wykładnik i mantysę decyduje o zakresie i dokładności formatu (np. FP32 1-8-23, FP16 1-5-10, BF16 1-8-7).
Przy stałej liczbie bitów więcej bitów wykładnika zwiększa zakres kosztem precyzji — stąd różnica między FP16 a BF16.
Współczynniki skali (globalne, per-kanał lub blokowe jak w MXFP8/NVFP4) utrzymują wartości w reprezentowalnym zakresie formatu.
Nawet gdy mnożenia liczone są w niskiej precyzji, akumulatory zwykle pracują w FP32, by ograniczyć kumulację błędu zaokrągleń.
Implementacja
Wąski zakres FP16 powoduje zerowanie małych gradientów; bez loss scaling trening się rozjeżdża.
Pojedyncze duże wartości aktywacji rozciągają skalę i degradują dokładność pozostałych wartości.
Akumulacja sum w niskiej precyzji kumuluje błąd zaokrągleń i psuje wynik mnożenia macierzy.
Różne precyzje i kolejność redukcji dają różne wyniki bit-w-bit między przebiegami i urządzeniami.
Ewolucja
Ustalenie powszechnego standardu reprezentacji liczb zmiennoprzecinkowych, który stał się domyślną precyzją obliczeń naukowych i wczesnego uczenia maszynowego.
Formalizacja 16-bitowego formatu zmiennoprzecinkowego, później kluczowego dla akceleracji głębokiego uczenia.
Praca Micikevicius et al. oraz rdzenie Tensor Core w NVIDIA Volta czynią niską precyzję głównym nurtem treningu dużych modeli.
BF16 łączy zakres FP32 z 16-bitową zajętością, upraszczając trening bez skalowania straty.
TF32 zachowuje zakres FP32 i precyzję mantysy FP16, przyspieszając mnożenia macierzy bez zmian w kodzie.
Specyfikacja formatów FP8 i sprzętowe wsparcie Hoppera umożliwiają trening i inferencję przy 8 bitach.
Open Compute Project standaryzuje formaty blokowe MXFP8/MXFP6/MXFP4, w których blok liczb współdzieli wspólną skalę.
Sprzętowe wsparcie 4-bitowych formatów przesuwa granicę skali modeli przy zachowaniu jakości dzięki mikroskalowaniu.
Hiperparametry (konfigurowalne osie)
Całkowita liczba bitów na liczbę (32, 16, 8, 4).
Liczba bitów wykładnika wyznacza zakres dynamiczny formatu.
Liczba bitów mantysy wyznacza precyzję reprezentacji.
Czy skala jest per-tensor, per-kanał czy blokowa (mikroskalowanie).
Precyzja, w jakiej sumowane są wyniki mnożeń (zwykle FP32).
Złożoność obliczeniowa
Złożoność przestrzenna: O(n · b).
Wąskie gardło obliczeniowe
W wielu obciążeniach AI o wyniku decyduje transfer danych i przepustowość jednostek macierzowych; niższa precyzja łagodzi oba te wąskie gardła, przesuwając wagę ku jakości reprezentacji.
Wymagania sprzętowe
Rdzenie Tensor Core są projektowane pod niską precyzję — przepustowość rośnie z każdym zmniejszeniem bitów (FP16/BF16, FP8 na Hopper, FP4 na Blackwell).
TPU natywnie wspierają BF16, który stworzono właśnie dla uczenia maszynowego.
Rozszerzenia CPU (AVX-512 VNNI) przyspieszają inferencję INT8, choć niska precyzja zmiennoprzecinkowa jest ograniczona.
Układy neuromorficzne operują na własnych, mocno skwantyzowanych reprezentacjach, odległych od standardowych formatów IEEE/OCP.