02·Funkcja kosztu MSE

Wprowadzenie

Mean Squared Error (MSE) to domyślna funkcja straty regresji. W tej lekcji rozkładamy ją na czynniki: dlaczego kwadrat (a nie wartość bezwzględna), jak wygląda powierzchnia kosztu (paraboloida wypukła) i dlaczego ta wypukłość jest bezcenna dla optymalizacji, jakie ma jednostki (kwadrat jednostek y), jak wiąże się z RMSE i MAE, kiedy zawodzi (outliery, ciężkie ogony), oraz jak wprowadza dekompozycję bias-variance. Pokazujemy równoważność z MLE pod szumem Gaussa i intuicję geometryczną: rzut ortogonalny y na przestrzeń kolumn macierzy X.