01·Underfitting i overfitting — diagnoza dopasowania modelu

Wprowadzenie

Underfitting i overfitting to dwa bieguny błędu generalizacji. Underfitting (niedouczenie): model jest zbyt prosty, by uchwycić strukturę danych — wysoki błąd zarówno na zbiorze treningowym, jak i testowym. Overfitting (przeuczenie): model dopasował się do szumu w danych treningowych — błąd treningowy bliski zera, ale błąd testowy wysoki. Ta lekcja pokazuje jak rozpoznawać oba zjawiska (krzywe uczenia, walidacyjne), z czego wynikają (pojemność modelu, liczność danych, sygnał do szumu) oraz jakie są standardowe remedia (więcej danych, regularyzacja, early stopping, prostszy model). Bazujemy na klasycznych pracach: Geman, Bienenstock & Doursat 1992, Hastie, Tibshirani & Friedman "The Elements of Statistical Learning" 2009.