Infrastruktura AI
Jak działa
Akceleratory (GPU/TPU/ASIC) są montowane w serwery, a serwery łączone w klastry spięte szybką siecią o niskim opóźnieniu i wysokiej przepustowości (np. NVLink wewnątrz węzła, InfiniBand między węzłami). Dane treningowe i pliki modeli przechowuje warstwa pamięci masowej, a pamięć blisko procesorów obsługuje bieżące obliczenia. Duże zadania treningowe są rozpraszane na wiele maszyn, co skraca czas obliczeń kosztem koordynacji i komunikacji między workerami. Całość stoi w centrach danych zapewniających zasilanie, zasilanie awaryjne i chłodzenie. Warstwa oprogramowania (sterowniki, kompilatory, frameworki ML) oraz orkiestracja i harmonogramowanie zadań (np. Kubernetes, Slurm) przydzielają akceleratory, planują zadania i monitorują klaster, a systemy serwowania modeli obsługują inferencję. Zasoby mogą być własne albo wynajmowane od dostawców chmury, w tym wyspecjalizowanych chmur GPU (neocloudów).
Rozwiązany problem
Trenowanie i uruchamianie dużych modeli AI wymaga zasobów obliczeniowych, przepustowości sieci, pamięci i energii znacznie przekraczających możliwości pojedynczych maszyn. Infrastruktura AI rozwiązuje problem dostarczania, łączenia i efektywnego wykorzystywania tych zasobów na skalę, tak aby obliczenia dawały się rozproszyć między wiele urządzeń przy akceptowalnym koszcie, opóźnieniu i zużyciu energii.
Komponenty
Wyspecjalizowane procesory wykonujące masowo równoległe operacje macierzowe stanowiące rdzeń treningu i inferencji.
Akceleratory montowane w serwery i łączone w klastry; użyteczna moc zależy od pamięci, sieci i oprogramowania, nie tylko liczby układów.
Połączenia o wysokiej przepustowości i niskim opóźnieniu między procesorami, serwerami i klastrami, kluczowe dla rozproszonego treningu.
Pamięć blisko procesorów obsługuje bieżące obliczenia, a pamięć masowa przechowuje dane treningowe, wyniki pośrednie i pliki modeli.
Budynki, szafy, zasilanie, zasilanie awaryjne i sieć — fizyczne zaplecze eksploatacji sprzętu obliczeniowego.
Dostarczanie i dystrybucja energii, zasilanie awaryjne oraz chłodzenie; klastry akceleratorów mają dużą gęstość mocy i duże zapotrzebowanie na chłodzenie.
Sterowniki, kompilatory i frameworki ML oraz systemy przydziału akceleratorów, harmonogramowania zadań i monitorowania klastra.
Platformy udostępniające akceleratory i usługi AI na wynajem, w tym wyspecjalizowani dostawcy chmur GPU.
Ewolucja
Sukces sieci głębokich trenowanych na GPU zapoczątkował erę infrastruktury opartej na akceleratorach.
Pojawienie się dedykowanego akceleratora AI (ASIC) zaprojektowanego pod obciążenia uczenia maszynowego.
Trening modeli o setkach miliardów parametrów wymusił rozproszone klastry z szybkim interconnectem na dużą skalę.
Eksplozja popytu na moc GPU napędziła wyspecjalizowane chmury GPU (neocloudy) i masowe inwestycje w centra danych oraz energetykę.
Hiperparametry (konfigurowalne osie)
Liczba GPU/TPU w klastrze; decyduje o skali możliwego treningu.
Przepustowość i opóźnienie sieci między węzłami; wąskie gardło rozproszonego treningu.
Dostępna moc elektryczna (MW) ograniczająca wielkość i lokalizację infrastruktury.
Moc na szafę determinująca wymagania chłodzenia dla klastrów akceleratorów.
Wymagania sprzętowe
GPU z rdzeniami tensorowymi to dominujący akcelerator treningu i inferencji dużych modeli.
Dedykowane ASIC-i (TPU) są wykorzystywane do treningu i inferencji na dużą skalę.
CPU obsługują zadania pomocnicze oraz inferencję mniejszych lub zoptymalizowanych modeli.
FPGA bywają stosowane do wyspecjalizowanej, energooszczędnej inferencji.