Sieci neuronowe od podstaw do nowoczesnej AI · Modele generatywne: Autoenkodery, VAE i GAN
VAE: reparametrization trick i ELBO
Modele generatywne: Autoenkodery, VAE i GAN
Wprowadzenie
Variational Autoencoder (Kingma & Welling 2014, Rezende et al. 2014) zamienia deterministyczne kodowanie AE na probabilistyczne: enkoder produkuje parametry rozkładu q_φ(z|x) = N(μ_φ(x), σ²_φ(x)), prior p(z) = N(0, I), a trening maksymalizuje ELBO = E_q[log p_θ(x|z)] − KL(q_φ(z|x) ‖ p(z)). Lekcja rozkłada na czynniki: dlaczego standardowe próbkowanie z q nie daje gradientu, jak reparametrization trick (z = μ + σ ⊙ ε, ε ~ N(0,I)) to naprawia, jak wyprowadzić ELBO z log p(x), co reprezentuje człon KL i rekonstrukcyjny, oraz patologie typu posterior collapse i KL vanishing.