AWS Trainium to rodzina autorskich akceleratorow AI (ASIC) projektowanych przez Amazon Web Services z jednym celem: najlepsza ekonomia wysokowydajnego treningu i inferencji AI w skali. Trainium jest sercem w pelni zintegrowanego systemu - chip, serwer, siec, oprogramowanie i uslugi - wspolprojektowanych tak, by dzialaly jak jedna calosc, optymalizujac koszt na token przy produkcyjnej skali.
Uklad zbudowany jest wokol rdzeni NeuronCore. Najnowsza generacja, Trainium3, zawiera 4. generacje NeuronCore z osmioma duzymi rdzeniami, z czterema wyspecjalizowanymi silnikami kazdy (Tensor, Vector, Scalar, GPSIMD) dzialajacymi rownoczesnie, oferujac do 2x wyzsza przepustowosc obliczen MXFP8 wzgledem Trainium2. Kazdy chip ma 144 GB pamieci HBM3e o przepustowosci 4,9 TB/s (1,7x wiecej niz Trainium2) oraz dwupoziomowa hierarchie SRAM na ukladzie.
Trainium skaluje sie od pojedynczego chipa do milionow: laczy sie przez NeuronLink (z redundancja dla odpornosci na bledy) i Elastic Fabric Adapter (EFA), z Graviton jako hostem CPU i Nitro dla bezpieczenstwa. Programowo obsluguja go Neuron SDK, Neuron Kernel Interface (NKI, dostep do ISA), PyTorch/JAX, Amazon EKS oraz SageMaker HyperPod. Dostepny jest w instancjach EC2 (Trn) oraz konfiguracjach UltraServer/UltraCluster. Uzupelnieniem linii jest AWS Inferentia (inferencja).
Autorski ASIC do treningu i inferencji AI
Do jakiej grupy należy AWS Trainium i jak jest skonstruowany
Obejmuje układy scalone typu Application-Specific Integrated Circuit (ASIC) projektowane wewnątrz firm hyperscalera (Google, Amazon, Meta, Microsoft) we współpracy z partnerami semiconductor (Broadcom, Marvell, Alchip). Cechy: modułowa architektura chipletowa (compute, network, I/O jako osobne krzemowe bloki), integracja z HBM, wsparcie dla niskich precyzji (MX8/MX4, FP8), dedykowane silniki do operacji ML (Dot Product Engine, Attention Engine, Reduction Engine), PyTorch-native software stack. Przykłady: Google TPU, AWS Trainium/Inferentia, Meta MTIA, Microsoft Maia.
Karta akceleratora AI data-center to klasa konstrukcyjna opisująca budowę wysokowydajnych procesorów obliczeniowych (GPU/akceleratorów) przeznaczonych do montażu w serwerach centrów danych. Charakteryzuje się: form factorem SXM (moduł lutowany do płyty bazowej HGX/DGX) lub dwuslotową kartą PCIe; pamięcią o wysokiej przepustowości (HBM2e/HBM3/HBM3e) zintegrowaną na pakiecie; dedykowanymi łączami GPU-GPU (NVLink, Infinity Fabric) o przepustowości setek GB/s; wysokim TDP (350–1000 W) wymagającym chłodzenia powietrznego lub cieczowego; obsługą wirtualizacji/partycjonowania (MIG) oraz formatów obliczeniowych niskiej precyzji (FP8/FP16/BF16/INT8). Klasa obejmuje konstrukcje takie jak NVIDIA H100/H200/A100, AMD Instinct MI300, Google TPU, Intel Gaudi. Opisuje budowę i konfigurację fizyczną, nie rolę funkcjonalną (tą określa typ komponentu „Akcelerator AI").
Podstawowe właściwości fizyczne AWS Trainium — wymiary, masa i materiały
Inne części sprzętowe powiązane z AWS Trainium
Akcelerator AI data-center oparty o architekturę NVIDIA Hopper (2022): 80 GB HBM3, 700 W, 4. generacja Tensor Cores z FP8 i Transformer Engine. Standardowy GPU do treningu LLM i hyperskalowej inferencji AI.
Akcelerator AI data-center oparty o architekturę NVIDIA Hopper (2023): pierwszy GPU z pamięcią HBM3e — 141 GB przy 4,8 TB/s. Ta sama moc obliczeniowa co H100, ale niemal dwukrotnie większa i szybsza pamięć dla treningu i inferencji dużych modeli językowych.
