ECE
Jak działa
1) Dla każdej predykcji weź pewność (zwykle maksymalne prawdopodobieństwo softmax) oraz informację, czy predykcja była trafna. 2) Podziel zakres pewności [0,1] na M binów (np. 10–15), zwykle o równej szerokości. 3) Przypisz każdą predykcję do binu według jej pewności. 4) W każdym binie B_m policz średnią pewność conf(B_m) i empiryczną trafność acc(B_m). 5) Oblicz wkład binu jako (|B_m|/n)·|acc(B_m) − conf(B_m)|. 6) Zsumuj wkłady wszystkich binów — wynik to ECE. 7) Opcjonalnie zwizualizuj przez reliability diagram i zastosuj adaptacyjne binowanie, gdy rozkład pewności jest nierównomierny.
Rozwiązany problem
Rozwiązuje problem oceny wiarygodności pewności modelu: sama dokładność (accuracy) nie mówi, czy deklarowane prawdopodobieństwa są prawdziwe. Nowoczesne sieci bywają nadmiernie pewne (overconfident); ECE kwantyfikuje tę rozbieżność jedną liczbą, umożliwiając porównywanie modeli i metod kalibracji.
Komponenty
Deklarowane prawdopodobieństwo predykcji, zwykle maksymalna wartość softmax.
Podział zakresu pewności na M przedziałów (równej szerokości lub adaptacyjne/equal-mass).
Bezwzględna różnica między empiryczną trafnością a średnią pewnością w każdym binie.
Uśrednienie różnic z wagami równymi udziałowi próbek w binach, dające jedną liczbę ECE.
Ewolucja
Naeini, Cooper i Hauskrecht formalizują binową ocenę kalibracji (Bayesian Binning), fundament ECE.
Guo i in. pokazują nadmierną pewność nowoczesnych sieci i popularyzują ECE oraz temperature scaling.
Prace wskazują wrażliwość ECE na binowanie i proponują adaptacyjne/equal-mass warianty oraz miary uzupełniające.
Hiperparametry (konfigurowalne osie)
Liczba przedziałów pewności; zbyt mało zaniża ECE, zbyt dużo zwiększa wariancję przy małej liczbie próbek.
Równa szerokość vs adaptacyjne (equal-mass) — wpływa na stabilność estymaty przy skośnym rozkładzie pewności.
Złożoność obliczeniowa
Złożoność czasowa: O(n + M). Złożoność przestrzenna: O(M).
Równoległość
Metryka idealnie nadaje się do obliczeń typu map-reduce na dużych zbiorach.
Wymagania sprzętowe
ECE to prosta metryka statystyczna liczona po predykcjach; nie wymaga wyspecjalizowanego akceleratora.