NVIDIA Cosmos

NVIDIA Cosmos to platforma rozwijana przez NVIDIA do tzw. fizycznej AI (Physical AI) — robotyki, pojazdów autonomicznych i przemysłowych systemów wizyjnych. Cosmos łączy bibliotekę otwartych World Foundation Models (WFM) z frameworkami do przetwarzania danych, treningu, post-trainingu i ewaluacji.

Główne komponenty

Modele rodziny Cosmos: Cosmos Predict (generowanie przyszłych stanów świata z tekstu, obrazu, wideo), Cosmos Transfer (sterowana translacja sim-to-real, np. z NVIDIA Omniverse na fotorealistyczne dane syntetyczne), Cosmos Reason (vision-language model do reasoningu nad sceną i intencjami) oraz Cosmos 3 (omni-model na bazie Mixture-of-Transformers, ogłoszony na COMPUTEX 2026, scalający perception, reasoning i generację).

Narzędzia developerskie

Cosmos Curator — filtrowanie, anotacja i deduplikacja dużych zbiorów danych sensorowych. Cosmos Tokenizer1 — tokenizer wideo do kompresji i dekodowania w przestrzeni latentnej. Cosmos Evaluator — przegląd i scoring generatywnych wyjść wideo. Frameworki post-trainingu i ewaluacji oraz skrypty inferencyjne udostępnione w repozytorium NVIDIA/Cosmos. Cosmos Cookbook z gotowymi przepisami dla robotyki, AV i wizji przemysłowej.

Dystrybucja

Wagi i kod referencyjny dostępne na Hugging Face (kolekcje NVIDIA Cosmos1/2/2.5/3 oraz Cosmos-Predict, Cosmos-Transfer, Cosmos-Reason) i na GitHubie (NVIDIA/Cosmos). Modele można też uruchamiać przez NVIDIA NIM oraz w katalogu build.nvidia.com. Wcześniejsze wydania na NVIDIA Open Model License; Cosmos 3 udostępniony na licencji OpenMDW 1.1 od Linux Foundation.

Hardware i ekosystem

Cosmos jest optymalizowany pod GPU NVIDIA: rekomendowane platformy serwerowe z RTX PRO 6000 Blackwell, GB200 Grace Blackwell oraz Hopper (H100). Razem z NVIDIA Omniverse (środowisko symulacji 3D) tworzy spójny pipeline: Omniverse generuje sceny symulowane, Cosmos przetwarza je w fotorealistyczne dane syntetyczne i modele świata wykorzystywane do post-trainingu polityk robotycznych i pojazdów. Klienci wymienieni przez NVIDIA: 1X Technologies, Agility Robotics, Figure AI, Neura Robotics, Toyota Research Institute, General Motors, Uber, Li Auto, Foretellix, Parallel Domain i in.