Autoregressive Diffusion
Jak działa
Typowy przepływ AR Diffusion dla generacji wideo: (1) Warunkowanie kontekstem - sieć przyjmuje wszystkie wcześniej wygenerowane klatki (t-1, t-2, ..., t-N) oraz opcjonalnie sygnały akcji (pozycja kamery, komenda robota, prompt); (2) Inicjalizacja szumem - dla klatki t startuje się z czystego szumu gaussowskiego o wymiarach docelowej klatki; (3) Odszumianie warunkowe - w K krokach (typowo 20-50) sieć iteracyjnie odszumia szum, warunkując każdy krok na kontekście temporalnym; (4) Emisja klatki - po ostatnim kroku odszumiania klatka t jest emitowana; (5) Przesunięcie kontekstu - klatka t dołącza do kontekstu, model przechodzi do t+1. Kluczowe warianty: (a) block-wise - generacja większych bloków sekwencji naraz (np. 4-8 klatek zamiast 1); (b) MAR-style - generacja tokenów obrazu bez VQ, każdy token przez małą sieć dyfuzyjną (Meta MAR, 2024); (c) Diffusion Forcing - trening z niezależnymi poziomami szumu per token, umożliwiający flexible AR sampling; (d) MaskGIT / Muse - iteracyjne demaskowanie tokenów zamiast klasycznej AR left-to-right.
Rozwiązany problem
Klasyczne modele dyfuzyjne generują całą próbkę (obraz, klip wideo) w jednym rzucie - świetna jakość, ale brak kontroli temporalnej i wysoki koszt dla długich sekwencji (całe wideo trzeba wygenerować naraz). Klasyczne modele autoregresyjne dla obrazu/wideo (PixelCNN, PixelRNN) wymagają dyskretyzacji przez VQ-VAE - tracą jakość na kwantyzacji. AR Diffusion rozwiązuje oba problemy: zachowuje ciągłą przestrzeń dyfuzji (brak VQ) i uzyskuje sekwencyjną generację element-po-elemencie, umożliwiając interakcję real-time, długie sekwencje wideo i kontrolowanie generacji strumieniem akcji.
Komponenty
Sieć neuronowa (zwykle Diffusion Transformer / DiT lub U-Net) ucząca się odwracać proces szumowania - dla danego kroku t szumu przewiduje szum, który należy odjąć. Warunkowana zarówno na stopniu szumu, jak i kontekście temporalnym.
Oficjalna
Mechanizm kondycjonowania: koduje sekwencję wcześniej wygenerowanych elementów (klatek, tokenów) i wstrzykuje do denoising network przez cross-attention, prepending, KV-cache lub podobne. Kluczowy dla spójności temporalnej.
Oficjalna
Deterministyczny lub uczony harmonogram poziomów szumu (β_t lub σ_t) używany zarówno w treningu jak i inferencji. Warianty: linear, cosine, karras, rectified flow. W Diffusion Forcing - niezależny per token.
Oficjalna
Dodatkowy sygnał sterujący (pozycja kamery, komenda robota, prompt tekstowy, audio dla avatarów) wstrzykiwany do denoising network równolegle z kontekstem temporalnym. Kluczowe dla world models i interaktywnych avatarów.
Oficjalna
Algorytm iteracyjnego wywoływania denoising network w K krokach: DDPM, DDIM, DPM-Solver, Euler, Heun, rectified flow ODE. Wybór wpływa na balans latencji vs jakości i liczby function evaluations (NFE).
Oficjalna
Implementacja
Model trenowany na kontekście z ground truth wcześniejszych elementów, a inferowany na własnych generacjach - błędy się kumulują (drift). Dla wideo: klatki po kilkuset krokach oddalają się jakościowo od pierwszej.
K kroków odszumiania na klatkę × N klatek daje wysoką latencję real-time. Dla 30 FPS wideo z K=20 to 600 forward passes na sekundę - wymaga potężnego GPU/TPU.
Długi kontekst temporalny (setki-tysiące klatek) generuje wielogigabajtowy KV-cache attention. Krytyczne dla long video / long horizon.
AR Diffusion łączy AR (szum od exposure bias) i dyfuzję (szum sample-level). Kombinacja bywa niestabilna - loss oscyluje, model nie zbiega.
Metryki FID/IS ocenąjakość próbki, ale nie spójność temporalną. Brak konsensusu na ewaluację long-horizon rollouts.
Ewolucja
Denoising Diffusion Probabilistic Models ustanawiają dyfuzję jako alternatywę dla GAN. Fundament pod AR Diffusion.
Papier ICLR 2022 (arXiv 2110.02037) wprowadza rodzinę modeli łączących AR i dyfuzję - w tym Order-Agnostic Autoregressive Diffusion Models.
Bidirectional Transformer generujący obrazy przez iteracyjne demaskowanie - forma AR Diffusion dla obrazu.
Skalowanie MaskGIT do text-to-image, konkurencyjna z Imagen i Stable Diffusion.
Tian et al. (ByteDance) - next-scale prediction zamiast next-token, skalowanie zgodne z scaling laws LLM. Nagroda Best Paper NeurIPS 2024.
Li et al. (Meta FAIR + MIT) - autoregresyjna generacja tokenów obrazu w ciągłej przestrzeni, każdy token przez małą sieć dyfuzyjną. arXiv 2406.11838.
Fan et al. (arXiv 2410.13863) - scaling laws dla autoregresyjnej generacji obrazu bez VQ, dowód że AR Diffusion skaluje się jak LLM.
NeurIPS 2024 (arXiv 2407.01392) - unifikacja next-token AR i full-sequence diffusion przez niezależne poziomy szumu per token. Umożliwia flexible causal masking i długie horyzonty.
Grudzień 2025 - Runway wypuszcza rodzinę GWM-1 (Worlds, Avatars, Robotics) opartą o autoregresyjny model wideo zbudowany na Gen-4.5. Frame-by-frame w czasie rzeczywistym z warunkowaniem akcjami.
Chińskie i akademickie laboratoria pokazują skalowanie AR Diffusion dla języka jako alternatywy dla klasycznych LLM. MMaDA - multimodalny wariant obraz+tekst.
Hiperparametry (konfigurowalne osie)
Liczba kroków sampleraf dyfuzyjnego per element sekwencji. Kluczowy trade-off: latencja vs jakość.
Ile wcześniejszych elementów sekwencji wchodzi do warunkowania. Wpływa na spójność temporalną i pamięć.
Ile elementów generowanych naraz w outer loop. Balans między czystą AR (block=1) a czystą dyfuzją (block=sequence).
Trajektoria β_t / σ_t. Wpływa na stabilność treningu i jakość próbki.
Złożoność obliczeniowa
Złożoność czasowa: O(N · K · f). Złożoność przestrzenna: O(L · d + K_cache).
Wąskie gardło obliczeniowe
W przeciwieństwie do czystej dyfuzji (cała próbka odszumiana równolegle) AR Diffusion generuje elementy sekwencyjnie - element t nie może się zacząć zanim element t-1 nie zostanie w pełni odszumiony (K kroków). Blokuje pełną paralelizację inference w wymiarze temporalnym.
Paradygmat wykonania
'Stage-dependent' bo dwa etapy: (1) AR outer loop - jeden element sekwencji per krok czasu, (2) diffusion inner loop - K kroków odszumiania per element. Sieć jest w pełni aktywna w każdym kroku.
Nie ma routingu ekspertów jak w MoE - jeden monolityczny denoiser (lub DiT). Warunkowanie odbywa się przez kontekst i sygnały akcji, nie przez sparse routing.
Równoległość
Speculative decoding i block-wise sampling łagodzą ograniczenie: block-wise generuje kilka elementów naraz z częściowym warunkowaniem, speculative rzuca kandydatów równolegle i akceptuje pasujące.
Wymagania sprzętowe
AR Diffusion dominowany przez dense matmul (Transformer forward pass × K kroków × N klatek). GPU z Tensor Cores (H100, H200, B200, A100) oferują 5-10x speedup vs klasyczne GPU. Krytyczne dla real-time video.
Google TPU dobrze radzi sobie z dużymi matmulami Transformer/DiT. Historyczne implementacje ARDM/MaskGIT/Muse trenowane na TPU (Google-first).
AR Diffusion jest zbyt compute-heavy dla CPU nawet z AVX-512. Realistycznie tylko dla małych demo modeli lub distilled samplerów (K=1-2) na edge.