NVIDIA H200
NVIDIA H200 to akcelerator data-center AI generacji Hopper, zaprezentowany 13 listopada 2023 i dostępny komercyjnie od drugiego kwartału 2024. Jest pierwszym GPU wyposażonym w pamięć HBM3e: 141 GB przy przepustowości 4,8 TB/s, czyli niemal dwukrotność pojemności i 1,4× przepustowości pamięci względem H100. Bazuje na tym samym chipie architektury Hopper co H100, dzięki czemu oferuje identyczną moc obliczeniową, a przewagę uzyskuje wyłącznie dzięki większej i szybszej pamięci.
W wariancie SXM H200 osiąga do 3 958 TFLOPS w FP8 i 1 979 TFLOPS w FP16/BF16 (z wykorzystaniem rzadkości), przy TDP konfigurowalnym do 700 W — tym samym profilu mocy co H100. Zachowuje 4. generację Tensor Cores z formatem FP8, Transformer Engine, NVLink o przepustowości 900 GB/s, PCIe Gen5 (128 GB/s), Multi-Instance GPU do 7 instancji po 18 GB oraz Confidential Computing. Wariant H200 NVL to karta PCIe dual-slot chłodzona powietrzem, o TDP do 600 W, przeznaczona do standardowych serwerów rack, z możliwością łączenia 2 lub 4 GPU mostkiem NVLink.
Większa pamięć czyni H200 szczególnie efektywnym we wnioskowaniu dużych modeli językowych — NVIDIA podaje do 1,9× wyższą przepustowość w inferencji Llama 2 70B względem H100 przy tym samym budżecie energetycznym. H200 stanowi pamięciowy upgrade linii Hopper, następcą H100, a kolejną generacją architektury jest Blackwell (B100/B200/GB200).
Klasyfikacja
Akcelerator AI · pełni rolę: Akceleracja AI, Wnioskowanie AI, Obliczenia, Obliczenia wysokiego poziomu.
Do jakiej grupy należy NVIDIA H200 i jak jest skonstruowany
Compute Modules to podkategoria komponentów sprzętowych dostarczających moc obliczeniową dla systemów robotycznych. Obejmuje komputery pokładowe, SBC, akceleratory AI, procesory embedded, moduły obliczeniowe GPU/NPU oraz inne jednostki przetwarzające dane z sensorów i wykonujące logikę sterowania. Moduły te są podstawą współczesnych robotów autonomicznych, humanoidalnych i percepcyjnych.
AI Accelerator to wyspecjalizowany komponent sprzętowy zaprojektowany do wydajnego wykonywania obliczeń związanych ze sztuczną inteligencją, w szczególności inferencji sieci neuronowych, przetwarzania wizji komputerowej i analizy danych sensorycznych. W robotyce akceleratory AI są używane do uruchamiania modeli percepcji, rozpoznawania obiektów, segmentacji obrazu, planowania i innych zadań wymagających wysokiej mocy obliczeniowej przy ograniczonych zasobach energetycznych. Mogą występować jako dedykowane układy NPU, TPU, VPU, GPU lub specjalizowane moduły embedded.
Karta akceleratora AI data-center to klasa konstrukcyjna opisująca budowę wysokowydajnych procesorów obliczeniowych (GPU/akceleratorów) przeznaczonych do montażu w serwerach centrów danych. Charakteryzuje się: form factorem SXM (moduł lutowany do płyty bazowej HGX/DGX) lub dwuslotową kartą PCIe; pamięcią o wysokiej przepustowości (HBM2e/HBM3/HBM3e) zintegrowaną na pakiecie; dedykowanymi łączami GPU-GPU (NVLink, Infinity Fabric) o przepustowości setek GB/s; wysokim TDP (350–1000 W) wymagającym chłodzenia powietrznego lub cieczowego; obsługą wirtualizacji/partycjonowania (MIG) oraz formatów obliczeniowych niskiej precyzji (FP8/FP16/BF16/INT8). Klasa obejmuje konstrukcje takie jak NVIDIA H100/H200/A100, AMD Instinct MI300, Google TPU, Intel Gaudi. Opisuje budowę i konfigurację fizyczną, nie rolę funkcjonalną (tą określa typ komponentu „Akcelerator AI").