03·Pętla treningowa: forward → loss → gradient → update

Wprowadzenie

Serce każdego treningu sieci neuronowej to cztery powtarzające się kroki: forward (oblicz predykcję), loss (zmierz błąd), gradient (policz pochodne względem wag), update (przesuń wagi). Ta lekcja rozkleja ten cykl na czynniki pierwsze, pokazuje co dokładnie dzieje się w każdym kroku, dlaczego kolejność jest sztywna i co się sypie gdy pominiesz dowolny element. Po tej lekcji znasz pętlę, która powtórzy się w KAŻDYM rozdziale tego kursu.