Opis tekstowy jest kodowany przez enkoder tekstu (np. model językowy lub CLIP) do reprezentacji warunkującej. Model generatywny — najczęściej dyfuzyjny — iteracyjnie odszumia latentną reprezentację wideo, warunkując ją na tekście. Kluczowy jest moduł czasowy (temporal attention / 3D-konwolucje), który dba o spójność ruchu i treści między klatkami. Na końcu dekoder (np. VAE) zamienia latenty na klatki obrazu. Proces synchronizuje wejście tekstowe z klatkami wideo, zapewniając ich zgodność i ciągłość.
Umożliwia tworzenie materiałów wideo bez nagrywania, animacji ani montażu — bezpośrednio z opisu tekstowego. Rozwiązuje problem czasochłonnej i kosztownej produkcji wideo oraz braku spójności czasowej przy naiwnym generowaniu wideo klatka po klatce.
Zamienia opis w języku naturalnym na reprezentację warunkującą generację.
Iteracyjnie odszumia latentną reprezentację wideo, sterowaną tekstem. Zwykle U-Net lub transformer dyfuzyjny (DiT).
Temporal attention lub konwolucje 3D zapewniające spójność ruchu i treści między klatkami.
Dekoduje latentną reprezentację do pełnowymiarowych klatek obrazu.
Obiekty i tło potrafią zmieniać wygląd między klatkami, powodując migotanie i dryf treści.
Jakość maleje wraz z długością generowanego wideo.
Model może błędnie zinterpretować prompt, tworząc wideo odbiegające od intencji.
Napisy i drobne szczegóły w wygenerowanym wideo często są zniekształcone.
Trening i inferencja są bardzo kosztowne, co ogranicza jakość i długość wyjścia.
Jeden z najwcześniejszych modeli text-to-video (9,4 mld parametrów), udostępniony na GitHub.
Model text-to-video zaprezentowany przez Meta Platforms.
Model Google Brain wykorzystujący architekturę 3D U-Net.
Jeden z pierwszych komercyjnie dostępnych modeli z interfejsem webowym i funkcją text-to-video.
Model OpenAI generujący dłuższe, wysokiej jakości klipy, znacząco podnoszący jakość i spójność.
Model Google wyróżniający się generowaniem zsynchronizowanego dźwięku razem z obrazem.
Uwaga i obliczenia rozciągają się na wiele klatek jednocześnie, przez co koszt rośnie z rozdzielczością, liczbą klatek i długością klipu. To główne źródło wysokich wymagań obliczeniowych.
Rozdzielczość generowanych klatek (np. 512×512, 720p, 4K).
Czas trwania generowanego wideo; dłuższe klipy są trudniejsze do utrzymania spójności.
Liczba klatek na sekundę wpływająca na płynność ruchu.
Siła warunkowania tekstem; balansuje wierność promptowi i różnorodność.
Liczba kroków odszumiania; więcej kroków = wyższa jakość kosztem czasu.
Modele dyfuzyjne wideo (U-Net/DiT) wykonują gęste obliczenia na całej latentnej reprezentacji w każdym kroku odszumiania.
Klatki generowane są zależnie od siebie (spójność czasowa ogranicza pełną równoległość), ale przetwarzanie w obrębie klatki oraz kroki treningu są silnie równoległe na GPU.
Modele dyfuzyjne wideo wymagają masowych operacji macierzowych, dla których rdzenie tensorowe GPU są zoptymalizowane.
TPU dobrze skalują trening i inferencję dużych modeli generatywnych.
