Robocikowo>ROBOCIKOWO
hardware

Precyzja numeryczna

1985AktywnyOpublikowano: 19 listopada 2026Aktualizacja: 19 listopada 2026Opublikowany
Format i dokładność reprezentacji liczb (FP32, TF32, FP16, BF16, FP8, FP4, INT8/INT4) używanych w obliczeniach modeli AI. Wyznacza kompromis między zużyciem pamięci, przepustowością a jakością modelu w treningu i inferencji.
Kluczowa innowacja
Uczyniła liczbowy format danych świadomym, konfigurowalnym parametrem systemu AI — zamiast domyślnego FP32 — odblokowując trening i inferencję przy 16, 8, a nawet 4 bitach na liczbę.
Kategoria
hardware
Poziom abstrakcji
Pojęcie
Poziom operacji
TreningInferencjaModel
Zastosowania
Trening w precyzji mieszanej (FP16/BF16 + wagi wzorcowe FP32)Kwantyzacja po treningu (PTQ) do INT8/FP8 dla tańszej inferencjiTrening i inferencja FP8 na NVIDIA Hopper (Transformer Engine)FP4/NVFP4 na NVIDIA Blackwell dla modeli rzędu bilionów parametrówKwantyzacja cache KV przy długim kontekścieWdrożenia Edge AI w INT8/INT4 na urządzeniach o ograniczonej pamięci

Jak działa

Liczba zmiennoprzecinkowa koduje znak, wykładnik i mantysę: więcej bitów wykładnika to większy zakres dynamiczny, więcej bitów mantysy to wyższa precyzja. BF16 utrzymuje zakres FP32 (8 bitów wykładnika) przy zaledwie 7 bitach mantysy, dlatego zwykle nie wymaga skalowania straty, podczas gdy FP16 (5 bitów wykładnika) wymaga loss scaling, by uniknąć niedomiaru gradientów. FP8 występuje w wariancie E4M3 (większa precyzja) i E5M2 (większy zakres); formaty 4-bitowe używają mikroskalowania blokowego, w którym blok liczb współdzieli wspólny współczynnik skali. W treningu precyzji mieszanej mnożenia liczone są w FP16/BF16/FP8 na rdzeniach Tensor Core, a wagi wzorcowe i akumulacja pozostają w FP32. W inferencji kwantyzacja odwzorowuje wagi i aktywacje na INT8/INT4/FP8/FP4 z użyciem współczynników skali (per-tensor, per-channel lub blokowych). Zmniejszenie precyzji o połowę zwykle podwaja przepustowość Tensor Core i zmniejsza o połowę transfer danych.

Rozwiązany problem

FP32 jest kosztowny pod względem pamięci, przepustowości i energii, co ogranicza rozmiar modeli oraz tempo treningu i inferencji. Niższa precyzja drastycznie obniża te koszty, ale grozi utratą dokładności i niestabilnością numeryczną. Precyzja numeryczna to centralne pokrętło, którym balansuje się koszt obliczeń względem jakości modelu.

Komponenty

Anatomia formatu (znak / wykładnik / mantysa)Określa podział bitów między zakres dynamiczny a precyzję

Podział bitów liczby na znak, wykładnik i mantysę decyduje o zakresie i dokładności formatu (np. FP32 1-8-23, FP16 1-5-10, BF16 1-8-7).

Kompromis zakres–precyzjaBalans między zakresem dynamicznym a dokładnością

Przy stałej liczbie bitów więcej bitów wykładnika zwiększa zakres kosztem precyzji — stąd różnica między FP16 a BF16.

Skalowanie (loss scaling / per-tensor / mikroskalowanie blokowe)Dopasowuje wartości do dostępnego zakresu, zapobiegając przepełnieniu i niedomiarowi

Współczynniki skali (globalne, per-kanał lub blokowe jak w MXFP8/NVFP4) utrzymują wartości w reprezentowalnym zakresie formatu.

Precyzja akumulacjiSumowanie wyników mnożeń w wyższej precyzji dla stabilności

Nawet gdy mnożenia liczone są w niskiej precyzji, akumulatory zwykle pracują w FP32, by ograniczyć kumulację błędu zaokrągleń.

Implementacja

Pułapki implementacyjne
Przepełnienie/niedomiar FP16 bez skalowania stratyWysoka

Wąski zakres FP16 powoduje zerowanie małych gradientów; bez loss scaling trening się rozjeżdża.

Rozwiązanie:Stosuj loss scaling (statyczny lub dynamiczny) albo przejdź na BF16, który ma zakres FP32.
Błąd kwantyzacji na outlierach aktywacjiWysoka

Pojedyncze duże wartości aktywacji rozciągają skalę i degradują dokładność pozostałych wartości.

Rozwiązanie:Kwantyzacja per-kanał/blokowa, wygładzanie (np. SmoothQuant) lub trzymanie kanałów-outlierów w wyższej precyzji.
Zbyt niska precyzja akumulacjiŚrednia

Akumulacja sum w niskiej precyzji kumuluje błąd zaokrągleń i psuje wynik mnożenia macierzy.

Rozwiązanie:Utrzymuj akumulatory w FP32 nawet przy wejściach FP16/FP8.
Niedeterminizm i problemy z reprodukowalnościąŚrednia

Różne precyzje i kolejność redukcji dają różne wyniki bit-w-bit między przebiegami i urządzeniami.

Rozwiązanie:Ustal deterministyczne jądra, stałą precyzję akumulacji i raportuj dokładność z marginesem tolerancji.

Ewolucja

Oryginalny paper · 2017 · ICLR 2018 · Paulius Micikevicius et al.
Mixed Precision Training
Paulius Micikevicius et al.
1985
IEEE 754 standaryzuje zmiennoprzecinkowe FP32 i FP64
Punkt przełomowy

Ustalenie powszechnego standardu reprezentacji liczb zmiennoprzecinkowych, który stał się domyślną precyzją obliczeń naukowych i wczesnego uczenia maszynowego.

2008
IEEE 754-2008 dodaje połowiczną precyzję (FP16 / binary16)

Formalizacja 16-bitowego formatu zmiennoprzecinkowego, później kluczowego dla akceleracji głębokiego uczenia.

2017
Trening w precyzji mieszanej (FP16 + wagi wzorcowe FP32)
Punkt przełomowy

Praca Micikevicius et al. oraz rdzenie Tensor Core w NVIDIA Volta czynią niską precyzję głównym nurtem treningu dużych modeli.

2019
bfloat16 rozpowszechniony przez TPU Google

BF16 łączy zakres FP32 z 16-bitową zajętością, upraszczając trening bez skalowania straty.

2020
NVIDIA Ampere wprowadza TF32

TF32 zachowuje zakres FP32 i precyzję mantysy FP16, przyspieszając mnożenia macierzy bez zmian w kodzie.

2022
FP8 (E4M3/E5M2) i Transformer Engine w NVIDIA Hopper
Punkt przełomowy

Specyfikacja formatów FP8 i sprzętowe wsparcie Hoppera umożliwiają trening i inferencję przy 8 bitach.

2023
Specyfikacja OCP Microscaling (MX) v1.0

Open Compute Project standaryzuje formaty blokowe MXFP8/MXFP6/MXFP4, w których blok liczb współdzieli wspólną skalę.

2025
NVIDIA Blackwell dodaje FP4/NVFP4
Punkt przełomowy

Sprzętowe wsparcie 4-bitowych formatów przesuwa granicę skali modeli przy zachowaniu jakości dzięki mikroskalowaniu.

Hiperparametry (konfigurowalne osie)

Szerokość bitowaKrytyczna

Całkowita liczba bitów na liczbę (32, 16, 8, 4).

Bity wykładnika (zakres)Wysoka

Liczba bitów wykładnika wyznacza zakres dynamiczny formatu.

Bity mantysy (precyzja)Wysoka

Liczba bitów mantysy wyznacza precyzję reprezentacji.

Granularność skalowaniaWysoka

Czy skala jest per-tensor, per-kanał czy blokowa (mikroskalowanie).

Precyzja akumulacjiŚrednia

Precyzja, w jakiej sumowane są wyniki mnożeń (zwykle FP32).

Złożoność obliczeniowa

Złożoność przestrzenna: O(n · b).

Wąskie gardło obliczeniowe

Przepustowość pamięci i Tensor Core

W wielu obciążeniach AI o wyniku decyduje transfer danych i przepustowość jednostek macierzowych; niższa precyzja łagodzi oba te wąskie gardła, przesuwając wagę ku jakości reprezentacji.

Wymagania sprzętowe

Podstawowe

Rdzenie Tensor Core są projektowane pod niską precyzję — przepustowość rośnie z każdym zmniejszeniem bitów (FP16/BF16, FP8 na Hopper, FP4 na Blackwell).

Dobry fit

TPU natywnie wspierają BF16, który stworzono właśnie dla uczenia maszynowego.

Możliwe

Rozszerzenia CPU (AVX-512 VNNI) przyspieszają inferencję INT8, choć niska precyzja zmiennoprzecinkowa jest ograniczona.

Ograniczony

Układy neuromorficzne operują na własnych, mocno skwantyzowanych reprezentacjach, odległych od standardowych formatów IEEE/OCP.