04·Regresja wielomianowa i hiperparametry

Wprowadzenie

Gdy zależność y od x nie jest liniowa, wciąż można użyć regresji liniowej — po przekształceniu cech. Regresja wielomianowa rozszerza X o x^2, x^3, ..., x^d (oraz interakcje x_i·x_j) i fituje liniowy model w nowej przestrzeni. W tej lekcji rozkładamy: feature engineering (PolynomialFeatures w sklearn), wybór stopnia d jako hiperparametru, dlaczego wysoki d prowadzi do overfittingu (model zapamiętuje szum), regularyzację Ridge/Lasso/ElasticNet jako broń przeciw overfit, train/val/test split + k-fold cross-validation, GridSearchCV. Pokazujemy klasyczny U-shaped curve test_error vs. d (Bias-Variance trade-off w praktyce).