NVIDIA AI Enterprise

NVIDIA AI Enterprise to kompleksowa platforma programowa klasy produkcyjnej do tworzenia, wdrażania i zarządzania aplikacjami AI. Platforma posiada dwuwarstwową architekturę: warstwę aplikacyjną (NIM microservices, NeMo, Omniverse, frameworki AI) oraz warstwę infrastrukturalną (sterowniki GPU, operatory Kubernetes, NVIDIA Run:ai, narzędzia do zarządzania klastrami). Obie warstwy są rozwijane niezależnie z własnymi gałęziami wydaniowymi.

Kluczowym komponentem platformy są mikrousługi NVIDIA NIM (NVIDIA Inference Microservices) – gotowe do wdrożenia kontenery z GPU-akcelerowanymi modelami AI. NIM eksponuje standardowe interfejsy API (kompatybilne z OpenAI API) i obsługuje LLM, modele multimodalne, modele embeddingowe, generowanie mowy i wiele innych. Wbudowane silniki wnioskowania obejmują TensorRT-LLM, vLLM, SGLang i inne zoptymalizowane frameworki.

Platforma obsługuje trzy tryby wdrożenia: bezpłatne API hostowane przez NVIDIA (build.nvidia.com), samodzielny hosting na własnej infrastrukturze GPU oraz komercyjną licencję produkcyjną NVIDIA AI Enterprise z SLA, stabilnością API i wsparciem. Dostępna jest przez marketplace AWS, Azure, Google Cloud i Oracle Cloud, a także lokalnie na NVIDIA-Certified servers.