JEVal
Jak działa
Każdy przykład w JEVal składa się z pytania i zestawu dozwolonych etykiet/opcji; model ma zwrócić wybraną etykietę wraz z przypisanym jej prawdopodobieństwem. Przykłady mają jeden z trzech typów: wybór opcji (choice), osąd (noul) oraz ocena punktowa (score). Odpowiedzi klasyfikacyjne (choice i noul, łącznie 10 938 pozycji) oceniane są metrykami trafności oraz kalibracji: trafność (ACC) traktuje odpowiedzi nieprawidłowe jako błędne, natomiast ECE i surowy wynik Brier liczone są tylko dla odpowiedzi poprawnych formalnie. 319 pozycji typu score oceniane jest osobno. Benchmark udostępniono jako pojedynczy plik Parquet ze splitem testowym; zachowano kolumnę źródła, aby możliwa była analiza wyników per podzadanie i per domena.
Rozwiązany problem
Oceny modeli językowych w zadaniach decyzyjnych były rozproszone po wielu niespójnych zbiorach danych i skupione niemal wyłącznie na trafności, ignorując to, czy model realistycznie szacuje własną pewność. JEVal ujednolica te zadania w jednym dwujęzycznym benchmarku i dodaje metryki kalibracji (ECE, Brier), ujawniając, że modele często trafnie wskazują najbardziej prawdopodobny wynik, ale znacząco zawyżają jego prawdopodobieństwo.
Ewolucja
Zespół SII wraz z partnerami akademickimi udostępnia JEVal (11 257 przykładów, 36 zbiorów, 10 domen) oraz modele SII-Decision-4B/27B trenowane metodą Reasoning-to-Readout Self-Distillation.