Sieci neuronowe od podstaw do nowoczesnej AI · Backpropagation — jak sieć się uczy
Chain rule i reguła łańcuchowa — fundament backpropagacji
Backpropagation — jak sieć się uczy
Wprowadzenie
Backpropagation to w istocie jedno: systematyczne, mechaniczne stosowanie reguły łańcuchowej z analizy matematycznej. Jeśli y = f(g(h(x))), to dy/dx = f'(g(h(x))) · g'(h(x)) · h'(x) — pochodna złożenia jest iloczynem pochodnych. Lekcja pokazuje regułę łańcuchową w skalarnej, wektorowej i Jakobianowej formie, wprowadza pojęcie grafu obliczeniowego (DAG) jako podstawy nowoczesnego autograd, oraz uzasadnia dlaczego trening głębokich sieci jest matematycznie możliwy. Zrozumiesz dlaczego reverse-mode autodiff jest ~m razy tańszy niż forward-mode dla funkcji R^n → R^m gdy m << n, oraz skąd biorą się problemy znikającego i eksplodującego gradientu jako bezpośrednia konsekwencja iloczynu w regule łańcuchowej.