CRPS
Jak działa
CRPS porównuje przewidywaną dystrybuantę F z „doskonałą” dystrybuantą obserwacji, czyli funkcją skokową H(x − y) skaczącą z 0 do 1 w punkcie obserwacji y. Metryka całkuje po całej osi rzeczywistej kwadrat różnicy tych dwóch dystrybuant: CRPS(F, y) = ∫_ℝ (F(x) − H(x − y))² dx. Im bliżej F leży idealnej dystrybuanty skokowej (dobra kalibracja + wysoka ostrość), tym mniejsza całka. W praktyce, gdy prognoza jest ansamblem próbek {x_1,…,x_m} (np. członkowie ensemble pogodowego), stosuje się formę energetyczną estymowaną z próbek: CRPS ≈ (1/m) Σ_i |x_i − y| − (1/(2m²)) Σ_i Σ_j |x_i − x_j|. Pierwszy człon karze odległość próbek od obserwacji (dokładność), drugi nagradza rozrzut ansamblu (ostrość/spread). Wynik ma jednostki zmiennej prognozowanej; dla prognozy deterministycznej redukuje się do |x − y| = MAE.
Rozwiązany problem
Punktowe metryki (MAE, RMSE) oceniają tylko pojedynczą estymatę i ignorują niepewność oraz kształt przewidywanego rozkładu. CRPS rozwiązuje problem uczciwej, jednoliczbowej oceny prognoz probabilistycznych na ciągłej dziedzinie — nagradza zarówno kalibrację, jak i ostrość (sharpness) rozkładu, a jako reguła ściśle właściwa premiuje podawanie prawdziwego rozkładu predykcyjnego.
Komponenty
Pełna funkcja rozkładu skumulowanego prognozy — reprezentacja niepewności, którą CRPS ocenia w całości, a nie tylko jej wartość oczekiwaną.
Definicja ∫(F(x) − H(x − y))² dx: całka z kwadratu różnicy między prognozowaną dystrybuantą a funkcją skokową obserwacji.
Równoważna postać E|X − y| − ½ E|X − X′| estymowana z próbek ansamblu; umożliwia obliczanie CRPS metodą Monte Carlo bez jawnej dystrybuanty.
Implementacja
Standardowy estymator ansamblowy CRPS jest obciążony dla małej liczby członków m i systematycznie zaniża spread.
CRPS ma jednostki zmiennej prognozowanej, więc wartości nie są porównywalne między zmiennymi o różnej skali bez normalizacji.
Ewolucja
Matheson i Winkler wprowadzają reguły oceny dla ciągłych rozkładów prawdopodobieństwa, definiując CRPS.
Gneiting i Raftery umieszczają CRPS w ogólnej teorii ściśle właściwych reguł oceny i jej postaci energetycznej.
GenCast (Google DeepMind) raportuje przewagę nad operacyjnym ansamblem ENS na CRPS dla ponad 96% celów weryfikacji.
Hiperparametry (konfigurowalne osie)
Wybór estymatora ansamblowego: obciążony vs. nieobciążony/„fair” (korekta na skończone m), postać PWM lub całkowanie numeryczne dystrybuanty.
Liczba próbek/członków ansamblu użytych do estymacji CRPS; małe m zawyża obciążenie estymatora bez korekty „fair”.
Złożoność obliczeniowa
Złożoność czasowa: O(m log m). Złożoność przestrzenna: O(m).
Równoległość
Obliczenie CRPS jest niezależne dla każdego punktu weryfikacji (czas, lokalizacja, zmienna), więc jest trywialnie zrównoleglalne między celami weryfikacji.
Wymagania sprzętowe
CRPS to lekka metryka skalarna liczona post-hoc na wyjściach modelu; nie wymaga specjalizowanego sprzętu.