04·Problemy treningu GAN: mode collapse, niestabilność i techniki stabilizacji

Wprowadzenie

Trening GAN jest słynnie kruchy. Lekcja katalogizuje główne patologie: mode collapse (G generuje tylko kilka modów p_data), oscylacje i brak zbieżności (gra non-zero-sum nie ma gwarancji punktu stałego), vanishing gradient na rozłącznych nośnikach (motywacja WGAN), discriminator overconfidence i memorization. Następnie systematyzuje rozwiązania: feature matching i minibatch discrimination (Salimans et al. 2016), spectral normalization (Miyato et al. 2018), gradient penalty (WGAN-GP, Gulrajani et al. 2017), TTUR (Heusel et al. 2017), R1/R2 regularization (Mescheder et al. 2018), exponential moving average wag G, oraz adaptive data augmentation (StyleGAN-ADA, Karras et al. 2020).