Robocikowo>ROBOCIKOWO
Ocena jakości

JEVal

2026AktywnyOpublikowano: 17 listopada 2026Aktualizacja: 17 listopada 2026Opublikowany
Dwujęzyczny benchmark do oceny modeli decyzyjnych: 11 257 przykładów z 36 zbiorów danych w 10 domenach, mierzący trafność i kalibrację (ECE, Brier).
Kluczowa innowacja
Pierwszy dwujęzyczny (angielsko-chiński) benchmark ujednolicający ocenę modeli decyzyjnych, który obok trafności mierzy też kalibrację pewności (ECE, Brier) dla ustrukturyzowanych decyzji na 36 zbiorach danych i 10 domenach.
Kategoria
Ocena jakości
Poziom abstrakcji
Benchmark
Poziom operacji
ModelSystem
Zastosowania
Porównywanie modeli decyzyjnych i LLM-ów w ustrukturyzowanych decyzjachPomiar kalibracji pewności (ECE, Brier), a nie tylko trafnościOcena decyzji w domenach: medycyna, prawo, finanse, nauki społeczneDiagnoza nadmiernej pewności modeli w zadaniach decyzyjnych

Jak działa

Każdy przykład w JEVal składa się z pytania i zestawu dozwolonych etykiet/opcji; model ma zwrócić wybraną etykietę wraz z przypisanym jej prawdopodobieństwem. Przykłady mają jeden z trzech typów: wybór opcji (choice), osąd (noul) oraz ocena punktowa (score). Odpowiedzi klasyfikacyjne (choice i noul, łącznie 10 938 pozycji) oceniane są metrykami trafności oraz kalibracji: trafność (ACC) traktuje odpowiedzi nieprawidłowe jako błędne, natomiast ECE i surowy wynik Brier liczone są tylko dla odpowiedzi poprawnych formalnie. 319 pozycji typu score oceniane jest osobno. Benchmark udostępniono jako pojedynczy plik Parquet ze splitem testowym; zachowano kolumnę źródła, aby możliwa była analiza wyników per podzadanie i per domena.

Rozwiązany problem

Oceny modeli językowych w zadaniach decyzyjnych były rozproszone po wielu niespójnych zbiorach danych i skupione niemal wyłącznie na trafności, ignorując to, czy model realistycznie szacuje własną pewność. JEVal ujednolica te zadania w jednym dwujęzycznym benchmarku i dodaje metryki kalibracji (ECE, Brier), ujawniając, że modele często trafnie wskazują najbardziej prawdopodobny wynik, ale znacząco zawyżają jego prawdopodobieństwo.

Ewolucja

Oryginalny paper · 2026 · arXiv preprint (2026) · Feiyu Duan
General Decision Models: Benchmarking and Insights Beyond Jev
Feiyu Duan, Jiayu Lin, Jia Wang, Jun Xiang, Jialiang Wu, Xinnong Zhang, Hanqi Yan, Siyuan Wang, Zhongyu Wei
2026
Publikacja JEVal i modeli SII-Decision
Punkt przełomowy

Zespół SII wraz z partnerami akademickimi udostępnia JEVal (11 257 przykładów, 36 zbiorów, 10 domen) oraz modele SII-Decision-4B/27B trenowane metodą Reasoning-to-Readout Self-Distillation.