NVIDIA na SIGGRAPH 2026 (19–23 lipca, Los Angeles) przedstawiła Cosmos 3 — model foundation dla physical AI, który łączy rozumienie sceny, generowanie świata i przewidywanie akcji w jednym modelu. Wraz z nim firma pokazała edge’owy wariant Cosmos 3H oraz symulator Cosmos Dreams. Prezentację prowadził Ming-Yu Liu, wiceprezes Cosmos Lab.
Najważniejsze w skrócie
- Cosmos 3 scala rozumienie, generowanie świata i predykcję akcji w jednym modelu — wcześniej były to trzy osobne komponenty.
- Cosmos 3H ma 4 mld parametrów i działa na urządzeniach edge: Jetson, RTX i DGX Spark.
- Cosmos Dreams generuje ciągłe przyszłe stany świata z jednego obrazu, zgodnie z prawami fizyki.
- Symulacja, która wymagała 64 GPU GB300, działa teraz na jednej stacji RTX Pro 6000.
- Architektura to Mixture of Transformers łącząca model autoregresyjny z generatywnym modelem dyfuzyjnym.
Trzy elementy pakietu
Poprzednia generacja Cosmos dzieliła zadania na osobne modele: rozumienie, generowanie i wnioskowanie. Cosmos 3 scala je w jeden omnimodalny model świata, obsługujący język, obraz, dźwięk i akcje robota. NVIDIA podaje, że model osiąga czołowe wyniki w ośmiu benchmarkach.
| Model | Rola | Uruchomienie |
|---|---|---|
| Cosmos 3 | Rozumienie, generowanie świata i akcje w jednym modelu | Otwarty na Hugging Face |
| Cosmos 3H | Sterowanie na urządzeniach brzegowych (4 mld parametrów) | Jetson, RTX, DGX Spark |
| Cosmos Dreams | Neuronowy symulator w pętli zamkniętej | 1× RTX Pro 6000 (wcześniej 64× GB300) |
Jedna architektura
Pod maską działa Mixture of Transformers — architektura łącząca autoregresyjny model rozumujący z generatywnym modelem dyfuzyjnym. To pozwala jednym systemem obsłużyć zarówno percepcję i planowanie, jak i syntezę obrazu przyszłej sceny. NVIDIA udostępniła model jako otwarty na Hugging Face.
Cosmos 3H: inferencja na samym robocie
Najciekawszy dla robotyki jest wariant Cosmos 3H o 4 mld parametrów, zaprojektowany pod urządzenia brzegowe — Jetson, RTX i DGX Spark. Przenosi wnioskowanie z chmury na sam robot, co skraca opóźnienia w pętli sterowania. Na pokazie NVIDIA sterowała w czasie rzeczywistym ramieniem robota napędzanym tym modelem.
To istotna zmiana. Sterowanie robotem z chmury oznacza opóźnienia i zależność od łącza. Model wystarczająco mały, by zmieścić się na pokładowym Jetsonie, zdejmuje oba ograniczenia — a to warunek pracy w realnym, nieprzewidywalnym otoczeniu.
Cosmos Dreams i zasada „compute is data”
Cosmos Dreams to neuronowy symulator w pętli zamkniętej. Z jednego obrazu generuje ciągły strumień przyszłych stanów świata zgodny z fizyką, w tym niebezpieczne scenariusze do trenowania pojazdów autonomicznych.
Za tym stoi teza NVIDIA „compute is data” — zamiast zbierać dane z realnego świata, generuje się je mocą obliczeniową GPU. Firma obiecuje „lepsze dane”, „lepsze środowiska” (tysiąc wariantów kuchni, typów magazynów, warunków pogodowych) i „lepszy punkt startowy” dzięki wstępnie wytrenowanemu Cosmosowi.
Konkurencja i kontekst
Cosmos to odpowiedź NVIDIA na to samo wyzwanie, które próbują rozwiązać roboty VLA: brak danych treningowych z fizycznego świata. Różnica polega na podejściu — zamiast zbierać dane z teleoperacji, NVIDIA generuje syntetyczne światy z modelu. Wiedza ma być współdzielona między różnymi typami ciał robotów, od humanoidów po pojazdy autonomiczne i maszyny przemysłowe.
Dlaczego to ważne?
Wąskim gardłem robotyki nie jest dziś sprzęt, lecz dane do trenowania polityk sterowania. Jeśli model świata generuje realistyczne, zgodne z fizyką środowiska taniej niż zbieranie danych w realu, zmienia to ekonomię całej dziedziny. Kluczowe jest też przeniesienie inferencji na edge — bez tego modele świata pozostają narzędziem laboratoryjnym, nie produkcyjnym.
Co dalej?
- NVIDIA zapowiedziała Cosmos 3.5 z obsługą wielu widoków (multi-view).
- Cosmos 3 i 3H są dostępne na Hugging Face — realny test przyniesie ich adopcja przez zewnętrznych producentów robotów.
- Do zweryfikowania pozostaje transfer sim-to-real: czy polityki trenowane w Cosmos Dreams działają na fizycznych robotach.
