05·Early stopping i strategie monitorowania treningu

Wprowadzenie

Early stopping to najprostsza i jedna z najskuteczniejszych technik regularyzacyjnych: przerywamy trening gdy metryka walidacyjna przestaje się poprawiać, zapisując model z najlepszej epoki. Mimo prostoty mechanika ma kilka pułapek: jak długo czekać na poprawę (patience), na której metryce się skupić (loss vs accuracy vs F1), czy resetować wagi przy plateau, jak łączyć early stopping ze schedulerem learning rate. Lekcja przechodzi przez pełen workflow monitorowania treningu w PyTorch (ModelCheckpoint, EarlyStopping w Lightning), klasyczne wykresy (train/val loss curves), interpretację różnych kształtów krzywych (overfitting, underfitting, double descent Nakkiran et al. 2019), oraz integrację z innymi mechanizmami regularyzacji (dropout, weight decay, BN). Pokrywamy też checkpoint averaging (SWA, EMA), techniki popularne w produkcyjnych LLM (Smith et al. 2022 — uczenie nawet po overfitting do plateau train_loss), oraz reguły kciuka kiedy wyłączyć early stopping w zadaniach generatywnych.