Robocikowo>ROBOCIKOWO
Ocena jakości

Brier score

1950AktywnyOpublikowano: 17 listopada 2026Aktualizacja: 17 listopada 2026Opublikowany
Brier score to metryka jakości prognoz probabilistycznych: średni kwadrat różnicy między przewidywanym prawdopodobieństwem a rzeczywistym wynikiem (0/1). Niższa wartość oznacza lepszą prognozę; jest to ścisła właściwa reguła punktująca, łącząca ocenę trafności i kalibracji.
Kluczowa innowacja
Jako ścisła właściwa reguła punktująca (proper scoring rule) nagradza prognozy probabilistyczne, które są jednocześnie trafne i uczciwe — minimum osiąga się tylko przy podaniu prawdziwego prawdopodobieństwa.
Kategoria
Ocena jakości
Poziom abstrakcji
Pojęcie
Poziom operacji
Ewaluacja (runtime)Inferencja
Zastosowania
Ocena jakości prognoz probabilistycznych (pogoda, ryzyko, klasyfikacja)Porównywanie modeli pod kątem kalibracji i rozdzielczości jednocześnieUczciwe punktowanie prognostów i rynków predykcyjnychMonitoring niezawodności prawdopodobieństw obok ECE i log loss

Jak działa

1) Dla każdego przykładu weź wektor przewidywanych prawdopodobieństw oraz wektor one-hot prawdziwej klasy (dla binarnego: pojedyncze p i wynik 0/1). 2) Policz kwadrat różnicy między prognozą a wynikiem (dla wieloklasowego: suma kwadratów po klasach). 3) Uśrednij po wszystkich przykładach — wynik to Brier score. 4) Interpretuj: im niżej, tym lepiej; 0 to prognoza idealna. 5) Opcjonalnie zastosuj dekompozycję Murphy'ego, aby rozdzielić wkład kalibracji (reliability), rozdzielczości (resolution) i nieredukowalnej niepewności (uncertainty).

Rozwiązany problem

Rozwiązuje problem oceny prognoz, które są prawdopodobieństwami, a nie twardymi decyzjami: pozwala porównać modele pod kątem tego, jak dobrze ich prawdopodobieństwa odpowiadają rzeczywistości, i — jako właściwa reguła punktująca — premiuje uczciwe raportowanie niepewności zamiast nadmiernej pewności.

Komponenty

Wektor prawdopodobieństw prognozyOceniane wejście metryki.

Przewidywane prawdopodobieństwa klas (lub pojedyncze p w przypadku binarnym).

Wynik one-hotPunkt odniesienia dla kwadratu błędu.

Rzeczywisty wynik zakodowany jako 0/1 (lub wektor one-hot prawdziwej klasy).

Kwadrat błęduJądro miary.

Kwadrat różnicy między prognozą a wynikiem, sumowany po klasach w wersji wieloklasowej.

Dekompozycja Murphy'egoDiagnostyka: skąd bierze się wartość metryki.

Rozkład Brier score na reliability, resolution i uncertainty, dający wgląd w źródła błędu.

Oficjalna

Ewolucja

Oryginalny paper · 1950 · Monthly Weather Review · Glenn W. Brier
Verification of Forecasts Expressed in Terms of Probability
Glenn W. Brier
1950
Wprowadzenie Brier score
Punkt przełomowy

Glenn Brier definiuje miarę do weryfikacji prognoz probabilistycznych pogody.

1973
Dekompozycja Murphy'ego
Punkt przełomowy

Allan Murphy rozkłada Brier score na reliability, resolution i uncertainty.

2005
Formalizacja właściwych reguł punktujących

Gneiting i Raftery osadzają Brier score w ogólnej teorii ścisłych właściwych reguł punktujących.

Hiperparametry (konfigurowalne osie)

Formulacja (binarna/wieloklasowa)Średnia

Wersja binarna (pojedyncze p) vs wieloklasowa (suma kwadratów po klasach); decyduje o zakresie i interpretacji wartości.

BinarnaZakres [0,1].
WieloklasowaZakres [0,2] przy konwencji one-hot z sumą po klasach.

Złożoność obliczeniowa

Złożoność czasowa: O(n·K). Złożoność przestrzenna: O(1) przy agregacji strumieniowej; O(K) na przykład.

Równoległość

Poziom równoległości
W pełni równoległy

Idealna do obliczeń map-reduce i wektoryzacji.

Zakres
InferencjaPomiędzy urządzeniami
Ograniczenia
!Kwadraty błędów są niezależne per przykład; potrzebna jest tylko końcowa redukcja (suma i średnia).

Wymagania sprzętowe

Podstawowe

Brier score to prosta operacja wektorowa (kwadrat różnicy i średnia); działa wydajnie na dowolnym sprzęcie.