AI Factory
Jak działa
Fabryka AI działa jako zintegrowany, pełny stos sprzętu i oprogramowania. Potoki danych (data pipelines) przekształcają surowe, nieustrukturyzowane dane w wysokiej jakości tokeny do treningu. Warstwa sprzętowa to akcelerowane obliczenia: wysokowydajne GPU, CPU, szybka sieć, pamięć masowa i zaawansowane chłodzenie. Warstwa programowa jest modularna, skalowalna i sterowana przez API, spinając całość w jeden system. Inferencja jest procesem ciągłym i iteracyjnym: wytrenowane modele generują predykcje w czasie rzeczywistym, a wyniki wracają do systemu, tworząc „data flywheel” poprawiający modele. Oprogramowanie takie jak NVIDIA Dynamo orkiestruje inferencję na tysiącach GPU, stosując disaggregated serving (rozdzielenie faz przetwarzania i generacji na różne GPU), by maksymalizować wykorzystanie zasobów i przychód z tokenów. Cały obiekt można projektować i symulować jako cyfrowy bliźniak (np. Omniverse Blueprint) przed budową. Kluczowymi metrykami operacyjnymi są throughput tokenów, latencja oraz wydajność na wat i na megawat.
Rozwiązany problem
Centra danych ogólnego przeznaczenia nie są zoptymalizowane pod ekonomikę AI: skala, koszt i zużycie energii generatywnej AI oraz modeli rozumujących (które produkują dziesiątki tysięcy tokenów na zapytanie) wymagają infrastruktury projektowanej holistycznie pod maksymalny throughput tokenów na wat i na megawat, a nie pod uniwersalne obliczenia.
Komponenty
Przekształcają surowe, nieustrukturyzowane dane w wysokiej jakości, ustrukturyzowane tokeny do treningu modeli.
Wysokowydajne GPU, CPU, pamięć masowa i zaawansowane chłodzenie tworzące warstwę sprzętową fabryki.
Szybka sieć (np. NVLink, InfiniBand/Ethernet) spinająca tysiące akceleratorów w jeden system scale-up/scale-out.
Pełnostosowe oprogramowanie inferencyjne (np. NVIDIA Dynamo) orkiestrujące generację tokenów na tysiącach GPU z disaggregated serving.
Automatyzują cykl życia AI (od strojenia hiperparametrów po wdrożenia), utrzymując wysoki throughput i niezawodność.
Wirtualne środowisko (np. Omniverse Blueprint) do projektowania, symulacji i optymalizacji fabryki przed budową.
Implementacja
Dostępność mocy elektrycznej jest często twardym limitem skali fabryki AI; planowanie musi obejmować sieć energetyczną i podstację, a nie tylko szafy serwerowe.
Wysoka gęstość mocy akceleratorów wymaga zaawansowanego chłodzenia (np. cieczowego); niedoszacowanie prowadzi do throttlingu i strat wydajności.
Nieefektywna orkiestracja inferencji na dużej flocie GPU podnosi koszt tokena i marnuje przepustowość.
Ewolucja
Na keynote GTC (18 marca 2024) Huang powiedział, że w przyszłości centra danych będą postrzegane jako fabryki AI, których celem jest generowanie przychodu w postaci inteligencji.
Na GTC (18 marca 2025) NVIDIA przedstawiła Dynamo, następcę Triton Inference Server, do skalowania inferencji modeli rozumujących w fabrykach AI i maksymalizacji przychodu z tokenów poprzez disaggregated serving.
Hiperparametry (konfigurowalne osie)
Łączna moc elektryczna fabryki, najczęściej główne ograniczenie skali.
Liczba tokenów generowanych w jednostce czasu: główny wskaźnik produktu fabryki.
Efektywność energetyczna; determinuje koszt jednostkowy tokena.
Liczba akceleratorów spiętych w jeden system; determinuje maksymalny throughput.
Przepustowość tkanki połączeń między GPU; krytyczna dla inferencji rozproszonej.
Wąskie gardło obliczeniowe
Dominującym ograniczeniem fabryki AI jest dostępna moc elektryczna i efektywność energetyczna; cel to maksymalny throughput tokenów przy danym budżecie mocy. NVIDIA wprost optymalizuje platformy pod „najniższy koszt tokenów na megawat” i wydajność na wat.
Równoległość
Obciążenia fabryki AI są rozpraszane (scale-up i scale-out) na tysiące GPU; inferencja pojedynczego modelu rozumującego pozostaje częściowo sekwencyjna na poziomie generacji tokenów.
Wymagania sprzętowe
Fabryka AI jest zbudowana na akcelerowanych obliczeniach; wysokowydajne GPU z rdzeniami tensor są jej rdzeniem obliczeniowym.