Ocena jakości
MATH500
2023AktywnyAktualizacja: 22 września 2026Opublikowany
Benchmark rozumowania matematycznego: 500 zadań (podzbiór zbioru MATH) używany do szybkiej, standardowej oceny zdolności matematycznych modeli.
Kluczowa
innowacja
Standardowy, zwarty (500-zadaniowy) benchmark matematyczny do szybkiej ewaluacji.
Kategoria
Ocena jakości
Poziom abstrakcji
Building block
Poziom operacji
Ewaluacja (runtime)
Zastosowania
Ewaluacja rozumowania matematycznegoPorównywanie modeli rozumującychOcena metod post-treningu
Jak działa
Model rozwiązuje 500 zadań matematycznych; wynik to odsetek odpowiedzi końcowych zgodnych z rozwiązaniem wzorcowym.
Rozwiązany problem
Pełny zbiór MATH jest duży i kosztowny do ewaluacji; potrzebny był mniejszy, reprezentatywny podzbiór.