HunyuanVideo

HunyuanVideo to model generowania wideo opracowany przez Tencent, udostępniony 3 grudnia 2024 r. z ponad 13 miliardami parametrów — w momencie premiery największy otwarty (open-source) model generowania wideo. Kod opublikowano na GitHubie, a wagi (wraz z wersjami skwantyzowanymi FP8) na Hugging Face, na licencji Tencent Hunyuan Community License Agreement.

Model opiera się na architekturze transformera dyfuzyjnego (diffusion transformer) z hybrydowym projektem „dual-stream to single-stream”: w fazie dwustrumieniowej tokeny wideo i tekstu przetwarzane są niezależnie, a w fazie jednostrumieniowej łączone w celu multimodalnej fuzji. Za kodowanie tekstu odpowiada multimodalny model językowy (MLLM) o dekoderowej strukturze wraz z dwukierunkowym token refinerem, a kompresję realizuje przyczynowy (causal) 3D VAE o współczynnikach 4 (czas), 8 (przestrzeń) i 16 (kanały).

HunyuanVideo generuje wideo z tekstu (text-to-video), a osobny model HunyuanVideo-I2V dodaje animację z obrazu (image-to-video). Obsługiwane są rozdzielczości od 540p do 720p w różnych proporcjach kadru (9:16, 16:9, 4:3, 3:4, 1:1) oraz nagrania o długości 129 klatek (np. 720×1280, 129 klatek).

Według raportu technicznego HunyuanVideo przewyższa wcześniejsze najlepsze modele, w tym Runway Gen-3, Luma 1.6 oraz trzy czołowe chińskie modele generowania wideo. Model powstał dzięki starannej selekcji danych, zaawansowanemu projektowi architektury oraz progresywnemu skalowaniu treningu; celem Tencenta było zmniejszenie różnicy między społecznością modeli zamkniętych i otwartych.