02·Bias-variance tradeoff — formalna anatomia błędu

Wprowadzenie

Bias-variance decomposition rozkłada oczekiwany błąd predykcji na trzy komponenty: kwadrat biasu (systematyczny błąd modelu), wariancję (czułość na konkretną realizację zbioru treningowego) oraz nieusuwalny szum (irreducible error). Ta lekcja pokazuje formalną dekompozycję dla MSE, jej interpretację, jak różne klasy modeli plasują się w przestrzeni bias-variance, jak liczność danych i pojemność wpływają na każdy komponent oraz dlaczego bagging redukuje wariancję, a boosting bias. Bazujemy na klasycznych pracach: Geman, Bienenstock & Doursat 1992 ("Neural networks and the bias/variance dilemma"), Hastie, Tibshirani & Friedman "ESL" 2009 (rozdział 7).