Trening

Video Pretraining

2022AktywnyAktualizacja: 5 maja 2026Opublikowany

Metoda precooked treningu modeli wizualnych na dużych zbiorach wideo bez etykiet. Model uczy się struktury czasowej i fizyki sceny przez przewidywanie następnych klatek lub odtwarzanie zamaskowanych fragmentów.

Kluczowa innowacja

Uczenie reprezentacji wizualnych przez przewidywanie sekwencji klatek wideo bez nadzoru, zamiast klasyfikacji obrazów.

Kategoria

Trening

Poziom abstrakcji

Wzorzec

Poziom operacji

Trening

Zastosowania

Robotics foundation modelsWorld modelsVideo generationAction predictionSim-to-real transfer

Jak działa

Model (zazwyczaj transformer wideo lub sieć dyfuzyjna) przetwarza sekwencje klatek i jest trenowany do przewidywania zamaskowanych lub przyszłych klatek. Gradient płynie wstecz przez czas (BPTT), ucząc model koherencji czasowej i fizyki sceny. Po pretrain modelu dostraja się go do zadań downstream (sterowanie robotem, rozumienie sceny).

Rozwiązany problem

Brak skalowanych etykietowanych danych wizualnych; potrzeba nauczenia modelu fizyki sceny i dynamiki ruchu bez nadzoru ludzkiego.

Implementacja

Pułapki implementacyjne

Ogromne wymagania pamięci GPU dla długich sekwencji wideoŚrednia

Wideo 10s przy 30fps = 300 klatek × patch embeddings — sekwencje tokenów są 10-100× dłuższe niż tekst. Wymaga aggressive temporal subsampling lub frame patchification z dużym stride.

Temporal alignment między klatkami i etykietami akcjiŚrednia

Niedokładna synchronizacja między nagraniami wideo a znacznikami akcji (np. opóźnienie HID) prowadzi do błędnych par wideo-akcja i degraduje jakość world model.

Ewolucja

2022

VideoCLIP i VideoMAE — pierwsze skalowalne Video Pretraining z masked modeling

Punkt przełomowy

2023

Sora (OpenAI) i Genie (DeepMind) pokazują generatywny pretraining wideo w skali

Punkt przełomowy

2025

UnifoLM-WMA-0 (Unitree) stosuje pretraining wideo jako fundament world-model-action dla robotyki

Paradygmat wykonania

Tryb główny

Gęsty

Wzorzec aktywacji

Wszystkie ścieżki aktywne

Równoległość

Poziom równoległości

Częściowo równoległy

Zakres

TreningPomiędzy urządzeniami

Wymagania sprzętowe

Podstawowe

Masywne macierze uwagi na sekwencjach klatek wymagają wysokiej przepustowości GPU z tensor cores.