Robocikowo>ROBOCIKOWO
Trening

Funkcja celu

AktywnyOpublikowano: 24 października 2026Aktualizacja: 24 października 2026Opublikowany
Funkcja celu to skalarna funkcja minimalizowana lub maksymalizowana podczas uczenia modelu, wyrażająca jakość rozwiązania jedną liczbą.
Kluczowa innowacja
Sprowadza uczenie modelu do optymalizacji jednej skalarnej miary jakości, dając jednoznaczny sygnał, względem którego dostrajane są wszystkie parametry.
Kategoria
Trening
Poziom abstrakcji
Primitive
Poziom operacji
TreningPo-trening
Zastosowania
Trening sieci neuronowych metodami gradientowymiKlasyfikacja (entropia krzyżowa)Regresja (błąd średniokwadratowy)Uczenie ze wzmocnieniem (maksymalizacja nagrody)Dostrajanie preferencji modeli językowych (RLHF, DPO)Regularyzacja i kontrola przeuczenia

Jak działa

Funkcja celu J(θ) przyjmuje parametry modelu θ i zwraca skalar. W uczeniu nadzorowanym jest to zwykle uśredniona strata na danych treningowych (ryzyko empiryczne), często z dodanym członem regularyzacji ograniczającym złożoność modelu (minimalizacja ryzyka strukturalnego). Algorytm optymalizacji (np. gradient prosty) oblicza gradient funkcji celu względem parametrów i aktualizuje je w kierunku przeciwnym do gradientu (dla minimalizacji), powtarzając proces aż do zbieżności. Wybór postaci funkcji celu — entropia krzyżowa dla klasyfikacji, błąd średniokwadratowy dla regresji, funkcja nagrody dla uczenia ze wzmocnieniem — determinuje, jakie zachowanie model wykształci.

Rozwiązany problem

Uczenie modelu wymaga jednoznacznego, mierzalnego kryterium sukcesu. Funkcja celu sprowadza nieformalny cel (np. „dobrze klasyfikuj”) do jednej, zwykle różniczkowalnej liczby, którą można systematycznie optymalizować. Bez niej nie istniałby sygnał, względem którego algorytm mógłby poprawiać parametry.

Komponenty

Człon straty (dopasowanie do danych)Główny sygnał uczący

Mierzy rozbieżność między predykcjami modelu a wartościami docelowymi (np. entropia krzyżowa, błąd średniokwadratowy). Uśredniony po danych treningowych tworzy ryzyko empiryczne.

Człon regularyzacjiKontrola złożoności i przeuczenia

Opcjonalny składnik karzący złożoność modelu (np. norma L2 wag), ograniczający przeuczenie. Suma członu straty i regularyzacji daje pełną funkcję celu (minimalizacja ryzyka strukturalnego).

Ewolucja

1950
Formalizacja w statystycznej teorii decyzji
Punkt przełomowy

Abraham Wald w pracy „Statistical Decision Functions” (1950) ponownie wprowadził funkcję straty do statystyki jako podstawę decyzji; samo pojęcie sięga Laplace'a.

1986
Gradientowa minimalizacja w sieciach neuronowych
Punkt przełomowy

Upowszechnienie propagacji wstecznej (Rumelhart, Hinton, Williams, 1986) uczyniło różniczkowalną funkcję celu centralnym elementem treningu sieci neuronowych.

Hiperparametry (konfigurowalne osie)

Postać funkcji stratyKrytyczna

Wybór konkretnej straty (entropia krzyżowa, MSE, hinge, kontrastywna, ...) zależnie od zadania i rozkładu danych.

Siła regularyzacji (lambda)Wysoka

Waga członu regularyzacji względem członu straty; steruje kompromisem między obciążeniem a wariancją.