Brier score
Jak działa
1) Dla każdego przykładu weź wektor przewidywanych prawdopodobieństw oraz wektor one-hot prawdziwej klasy (dla binarnego: pojedyncze p i wynik 0/1). 2) Policz kwadrat różnicy między prognozą a wynikiem (dla wieloklasowego: suma kwadratów po klasach). 3) Uśrednij po wszystkich przykładach — wynik to Brier score. 4) Interpretuj: im niżej, tym lepiej; 0 to prognoza idealna. 5) Opcjonalnie zastosuj dekompozycję Murphy'ego, aby rozdzielić wkład kalibracji (reliability), rozdzielczości (resolution) i nieredukowalnej niepewności (uncertainty).
Rozwiązany problem
Rozwiązuje problem oceny prognoz, które są prawdopodobieństwami, a nie twardymi decyzjami: pozwala porównać modele pod kątem tego, jak dobrze ich prawdopodobieństwa odpowiadają rzeczywistości, i — jako właściwa reguła punktująca — premiuje uczciwe raportowanie niepewności zamiast nadmiernej pewności.
Komponenty
Przewidywane prawdopodobieństwa klas (lub pojedyncze p w przypadku binarnym).
Rzeczywisty wynik zakodowany jako 0/1 (lub wektor one-hot prawdziwej klasy).
Kwadrat różnicy między prognozą a wynikiem, sumowany po klasach w wersji wieloklasowej.
Rozkład Brier score na reliability, resolution i uncertainty, dający wgląd w źródła błędu.
Oficjalna
Ewolucja
Glenn Brier definiuje miarę do weryfikacji prognoz probabilistycznych pogody.
Allan Murphy rozkłada Brier score na reliability, resolution i uncertainty.
Gneiting i Raftery osadzają Brier score w ogólnej teorii ścisłych właściwych reguł punktujących.
Hiperparametry (konfigurowalne osie)
Wersja binarna (pojedyncze p) vs wieloklasowa (suma kwadratów po klasach); decyduje o zakresie i interpretacji wartości.
Złożoność obliczeniowa
Złożoność czasowa: O(n·K). Złożoność przestrzenna: O(1) przy agregacji strumieniowej; O(K) na przykład.
Równoległość
Idealna do obliczeń map-reduce i wektoryzacji.
Wymagania sprzętowe
Brier score to prosta operacja wektorowa (kwadrat różnicy i średnia); działa wydajnie na dowolnym sprzęcie.