Ocena jakości

MATH500

2023AktywnyAktualizacja: 22 września 2026Opublikowany

Benchmark rozumowania matematycznego: 500 zadań (podzbiór zbioru MATH) używany do szybkiej, standardowej oceny zdolności matematycznych modeli.

Kluczowa innowacja

Standardowy, zwarty (500-zadaniowy) benchmark matematyczny do szybkiej ewaluacji.

Kategoria

Ocena jakości

Poziom abstrakcji

Building block

Poziom operacji

Ewaluacja (runtime)

Zastosowania

Ewaluacja rozumowania matematycznegoPorównywanie modeli rozumującychOcena metod post-treningu

Jak działa

Model rozwiązuje 500 zadań matematycznych; wynik to odsetek odpowiedzi końcowych zgodnych z rozwiązaniem wzorcowym.

Pełny zbiór MATH jest duży i kosztowny do ewaluacji; potrzebny był mniejszy, reprezentatywny podzbiór.