Cosmos Transfer

Cosmos Transfer to seria otwartych World Foundation Models (WFM) opracowanych przez NVIDIA jako część platformy Cosmos do tzw. fizycznej AI (Physical AI). Modele wykonują tzw. controllable video-to-video translation: na wejście dostają strukturalny sygnał (segmentacja, mapa głębi, krawędzie, szum, kontur ruchu, wideo z symulatora) wraz z opisem tekstowym, a na wyjściu generują fotorealistyczne wideo zachowujące geometrię i ruch sceny ze źródła.

Warianty

Cosmos Transfer 1 (marzec – kwiecień 2025) udostępnione zostało jako Cosmos-Transfer1-7B (model główny), Cosmos-Transfer1-7B-Sample-AV (wariant dla pojazdów autonomicznych), Cosmos-Transfer1-7B-Sample-AV-Single2MultiView (przejście z jednej kamery na wiele widoków AV) oraz Cosmos-Transfer1-7B-4KUpscaler (upscaling do 4K). Wszystkie warianty mają ~7 mld parametrów. Cosmos Transfer 2.5 (sierpień 2025) wprowadziło ulepszenia jakości i kontrolowalności kontroli wielomodalnej.

Architektura

Cosmos Transfer to model dyfuzyjny z architekturą typu transformer, działający w przestrzeni latentnej z użyciem tokenizera wideo Cosmos Tokenizer1. Model jest sterowany wieloma kanałami informacji (multimodal control) — m.in. mapy segmentacji, mapy głębi, sygnał z kamery oraz prompt tekstowy — co pozwala precyzyjnie kontrolować zarówno strukturę, jak i wygląd generowanego wideo. Sygnał z symulatora (np. NVIDIA Omniverse) podaje geometrię i ruch, a model dokleja fotorealistyczne tekstury, oświetlenie i atmosferę.

Zastosowania

Główne zastosowanie to skalowanie syntetycznych danych treningowych: pojedyncza scena symulowana w Omniverse jest mnożona przez Cosmos Transfer w wiele realistycznych wariantów (zmiana pogody, oświetlenia, geolokalizacji, układu czujników). Wykorzystywane przez NVIDIA m.in. w pipeline'ach trenowania pojazdów autonomicznych (Foretellix, Parallel Domain, General Motors, Toyota Research Institute, Uber, Li Auto) oraz robotyki (1X Technologies, Agility Robotics, Figure AI, Neura Robotics).

Dostępność

Wagi modeli Cosmos Transfer 1 i 2.5 są publicznie dostępne na Hugging Face w kolekcjach NVIDIA. Kod treningowy i post-trainingowy w repozytorium NVIDIA/Cosmos na GitHubie. Modele można uruchamiać przez NVIDIA NIM oraz w katalogu build.nvidia.com. Pierwsze wersje na NVIDIA Open Model License; rodzina Cosmos została następnie zastąpiona przez Cosmos 3 (omni-model, COMPUTEX 2026), w którym perception, reasoning i generacja zostały scalone w jednej architekturze Mixture-of-Transformers.