05·Funkcje straty: MSE i Cross-Entropy — intuicja i wybór

Wprowadzenie

Funkcja straty (loss) to "kompas" treningu — mówi sieci, jak bardzo się myli i w którą stronę poprawiać wagi. Ta lekcja porównuje dwa fundamentalne lossy: Mean Squared Error (MSE) dla regresji i Cross-Entropy (CE) dla klasyfikacji. Zobaczysz, dlaczego MSE+sigmoid daje vanishing gradient i czemu CE+softmax to "naturalna para", jak działa numerycznie stabilna fuzja log-softmax + NLL w PyTorch, czym jest label smoothing, jak radzić sobie z class imbalance (weighted CE, focal loss) i czemu loss → NaN w 9/10 przypadków oznacza explosion log(0) lub zły learning rate. Omówimy też relację loss ↔ Maximum Likelihood Estimation oraz mean vs sum reduction.