NVIDIA A100
NVIDIA A100 to akcelerator GPU dla centrów danych zbudowany na architekturze NVIDIA Ampere (układ GA100). Występuje w wariantach pamięci 40 GB i 80 GB oraz w dwóch formatach: modułu SXM4 (montowanego na płytach bazowych HGX) i karty PCIe. Pamięć wykorzystuje HBM2e.
Układ oferuje rdzenie Tensor trzeciej generacji z obsługą formatów TF32, BFLOAT16, FP16 i INT8 oraz przyspieszenie dla danych rzadkich (sparsity). Technologia Multi-Instance GPU (MIG) pozwala podzielić jeden procesor na maksymalnie siedem niezależnych instancji. Łączność między układami zapewnia NVLink (600 GB/s) oraz PCIe Gen4 (64 GB/s).
Klasyfikacja
GPU (dyskretny procesor graficzny) · pełni rolę: Obliczenia AI, Akceleracja AI, Wnioskowanie AI.
Do jakiej grupy należy NVIDIA A100 i jak jest skonstruowany
Podkategoria zbiera układy scalone przeznaczone do przyspieszania obliczeń AI w centrach danych: NVIDIA H100/B200, Google TPU, AWS Trainium/Inferentia, Meta MTIA, Groq LPU, Cerebras WSE. Wspólne cechy: pamięć HBM o wysokiej przepustowości, tryby niskiej precyzji (FP16/BF16/FP8/MX8/MX4/INT8/INT4), skalowalność do rack-scale (setki chipów w jednej domenie scale-up), chłodzenie cieczą, integracja z frameworkami ML (PyTorch, JAX, Triton, vLLM). Kontrastuje z hardwareSubcategory.ai-soc-edge-ai-soc — tam kryteria są odwrotne (niski pobór mocy, brak HBM, on-device inferencja).
Procesor graficzny (GPU) o architekturze masowo równoległej, wykorzystywany zarówno do renderowania grafiki, jak i do obliczeń ogólnego przeznaczenia (GPGPU), w tym treningu i inferencji sieci neuronowych.
Specyfikacja techniczna
312 TFLOPS z rzadkością (sparsity).
624 TFLOPS z rzadkością.
624 TFLOPS z rzadkością.
1248 TOPS z rzadkością.
624 TFLOPS z rzadkością.
624 TFLOPS z rzadkością.
1248 TOPS z rzadkością.