Robocikowo>ROBOCIKOWO
Ocena jakości

ECE

2015AktywnyOpublikowano: 17 listopada 2026Aktualizacja: 17 listopada 2026Opublikowany
ECE (expected calibration error) to metryka mierząca, jak dobrze pewność modelu odpowiada jego faktycznej trafności. Predykcje dzieli się na przedziały pewności, w każdym porównuje średnią pewność ze średnią trafnością, a wyniki uśrednia z wagą liczności przedziału. ECE = 0 oznacza model idealnie skalibrowany.
Kluczowa innowacja
Sprowadza jakość kalibracji modelu do jednej liczby: średniej ważonej rozbieżności między deklarowaną pewnością a rzeczywistą trafnością, liczonej w przedziałach pewności.
Kategoria
Ocena jakości
Poziom abstrakcji
Pojęcie
Poziom operacji
Ewaluacja (runtime)Inferencja
Zastosowania
Ocena kalibracji klasyfikatorów i sieci neuronowychPorównywanie metod kalibracji (temperature scaling, Platt scaling)Monitoring zaufania modelu w zastosowaniach wrażliwych na ryzykoRaportowanie niezawodności obok dokładności w benchmarkach

Jak działa

1) Dla każdej predykcji weź pewność (zwykle maksymalne prawdopodobieństwo softmax) oraz informację, czy predykcja była trafna. 2) Podziel zakres pewności [0,1] na M binów (np. 10–15), zwykle o równej szerokości. 3) Przypisz każdą predykcję do binu według jej pewności. 4) W każdym binie B_m policz średnią pewność conf(B_m) i empiryczną trafność acc(B_m). 5) Oblicz wkład binu jako (|B_m|/n)·|acc(B_m) − conf(B_m)|. 6) Zsumuj wkłady wszystkich binów — wynik to ECE. 7) Opcjonalnie zwizualizuj przez reliability diagram i zastosuj adaptacyjne binowanie, gdy rozkład pewności jest nierównomierny.

Rozwiązany problem

Rozwiązuje problem oceny wiarygodności pewności modelu: sama dokładność (accuracy) nie mówi, czy deklarowane prawdopodobieństwa są prawdziwe. Nowoczesne sieci bywają nadmiernie pewne (overconfident); ECE kwantyfikuje tę rozbieżność jedną liczbą, umożliwiając porównywanie modeli i metod kalibracji.

Komponenty

Sygnał pewnościWejście dzielone na przedziały.

Deklarowane prawdopodobieństwo predykcji, zwykle maksymalna wartość softmax.

Schemat binowaniaGrupuje predykcje do porównania trafności z pewnością.

Podział zakresu pewności na M przedziałów (równej szerokości lub adaptacyjne/equal-mass).

Różnica trafność-pewność w binieLokalna miara rozkalibrowania.

Bezwzględna różnica między empiryczną trafnością a średnią pewnością w każdym binie.

Agregacja ważonaSprowadza wiele binów do jednej metryki.

Uśrednienie różnic z wagami równymi udziałowi próbek w binach, dające jedną liczbę ECE.

Ewolucja

Oryginalny paper · 2017 · ICML 2017 · Chuan Guo
On Calibration of Modern Neural Networks
Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger
2015
Binowa estymacja kalibracji
Punkt przełomowy

Naeini, Cooper i Hauskrecht formalizują binową ocenę kalibracji (Bayesian Binning), fundament ECE.

2017
ECE jako standard dla sieci neuronowych
Punkt przełomowy

Guo i in. pokazują nadmierną pewność nowoczesnych sieci i popularyzują ECE oraz temperature scaling.

2019
Krytyka i adaptacyjne warianty

Prace wskazują wrażliwość ECE na binowanie i proponują adaptacyjne/equal-mass warianty oraz miary uzupełniające.

Hiperparametry (konfigurowalne osie)

Liczba binówWysoka

Liczba przedziałów pewności; zbyt mało zaniża ECE, zbyt dużo zwiększa wariancję przy małej liczbie próbek.

10Najczęstsza wartość domyślna.
15Spotykane w literaturze o kalibracji sieci.
Schemat binowaniaŚrednia

Równa szerokość vs adaptacyjne (equal-mass) — wpływa na stabilność estymaty przy skośnym rozkładzie pewności.

Równa szerokośćKlasyczny ECE.
Equal-mass (adaptacyjne)Adaptive ECE, równa liczność binów.

Złożoność obliczeniowa

Złożoność czasowa: O(n + M). Złożoność przestrzenna: O(M).

Równoległość

Poziom równoległości
W pełni równoległy

Metryka idealnie nadaje się do obliczeń typu map-reduce na dużych zbiorach.

Zakres
InferencjaPomiędzy urządzeniami
Ograniczenia
!Przypisanie predykcji do binów jest w pełni równoległe; wymagana jest jedynie końcowa redukcja sum per bin.

Wymagania sprzętowe

Podstawowe

ECE to prosta metryka statystyczna liczona po predykcjach; nie wymaga wyspecjalizowanego akceleratora.