03·GAN: adversarial training, generator vs dyskryminator

Wprowadzenie

Generative Adversarial Network (Goodfellow et al. 2014) to dwa modele uczone w grze o sumie zerowej: generator G(z) odwzorowuje szum z ~ p(z) na próbki x̂, dyskryminator D(x) klasyfikuje x jako "real" vs "fake". Trenują się naprzemiennie: D dąży do maksymalizacji E[log D(x_real)] + E[log(1 − D(G(z)))], G do oszukania D. Lekcja rozkłada na czynniki minimax-objective, optimum globalne (D* = p_data/(p_data+p_g)), Jensen–Shannon vs KL, "non-saturating loss" Goodfellowa, oraz mechanikę naprzemiennego treningu i jak G "uczy się przez gradient płynący przez D".