Ocena jakości

MultiArith

2015AktywnyOpublikowano: 10 września 2026Aktualizacja: 10 września 2026Opublikowany

Benchmark 600 wieloetapowych zadań tekstowych z arytmetyki, używany do oceny rozumowania modeli językowych (m.in. w Zero-shot CoT).

Kluczowa innowacja

Wydzielił zwarty zestaw 600 wieloetapowych zadań arytmetycznych z języka naturalnego, który stał się standardowym testem wieloetapowego rozumowania arytmetycznego modeli językowych.

Kategoria

Ocena jakości

Poziom abstrakcji

Wzorzec

Poziom operacji

Ewaluacja (runtime)Inferencja

Zastosowania

Ocena wieloetapowego rozumowania arytmetycznego LLMBadania nad chain-of-thought i zero-shot chain-of-thoughtPorównywanie strategii promptowaniaTestowanie modeli do rozwiązywania zadań tekstowych z matematyki

Jak działa

Każdy przykład to para (treść zadania, odpowiedź liczbowa). Model otrzymuje treść zadania i ma wygenerować odpowiedź końcową; ewaluacja polega na porównaniu wyekstrahowanej liczby z odpowiedzią wzorcową (exact match). W protokołach z LLM stosuje się warianty promptowania: zero-shot (bezpośrednia odpowiedź) oraz chain-of-thought (model najpierw wypisuje kroki rozumowania, potem podaje wynik). Kluczowym elementem jest ekstrakcja odpowiedzi z wygenerowanego tekstu (np. „the answer is …"). Powszechnie używany split to 420 przykładów treningowych i 180 testowych.

Rozwiązany problem

Umożliwia pomiar zdolności modelu do wieloetapowego rozumowania arytmetycznego — nie pojedynczego działania, lecz łańcucha operacji wyprowadzonych z opisu w języku naturalnym. Ujawnia różnicę między samym dopasowaniem wzorców a faktycznym prowadzeniem rachunku krok po kroku.

Komponenty

Treść zadania (question)Wejście — opis zadania arytmetycznego w języku naturalnym.

Krótki tekst (ok. 108–217 znaków) opisujący scenariusz z życia codziennego wymagający kilku działań arytmetycznych.

Odpowiedź końcowa (final_ans)Wyjście wzorcowe — pojedyncza liczba będąca poprawnym wynikiem.

Łańcuch znaków reprezentujący liczbową odpowiedź końcową (zwykle 1–2 cyfry), używany do porównania exact match.

Implementacja

Implementacje referencyjne

ChilleD/MultiArith (Hugging Face Datasets)

JSON / Python (datasets) · Społeczność Hugging Face

Zero-shot-CoT (repozytorium Kojima i in.)

Python · Takeshi Kojima i in.

Pułapki implementacyjne

Wysycenie benchmarkuWysoka

Współczesne LLM osiągają na MultiArith dokładność bliską 100%, przez co benchmark słabo różnicuje silne modele.

Rozwiązanie:Łączyć z trudniejszymi zbiorami (np. GSM8K, MATH) i raportować wyniki na wielu benchmarkach.

Wrażliwość na ekstrakcję odpowiedziŚrednia

Wynik silnie zależy od reguły wydobycia liczby z tekstu; różne heurystyki dają różne dokładności dla tego samego modelu.

Rozwiązanie:Stosować spójny, opisany protokół ekstrakcji (np. dwuetapowy prompt „the answer is").

Mały rozmiar i ryzyko kontaminacjiŚrednia

Zaledwie 600 przykładów oznacza dużą wariancję wyników i podatność na wyciek danych do zbiorów treningowych LLM.

Rozwiązanie:Traktować wyniki jako orientacyjne; sprawdzać kontaminację i podawać przedziały ufności.

Ewolucja

Oryginalny paper · 2015 · EMNLP 2015 · Subhro Roy

Solving General Arithmetic Word Problems

Subhro Roy, Dan Roth

2015

Wprowadzenie MultiArith

Punkt przełomowy

Roy i Roth publikują „Solving General Arithmetic Word Problems" (EMNLP 2015); podzbiór 600 zadań wieloetapowych staje się później znany jako MultiArith.

2022

Zero-shot CoT na MultiArith

Punkt przełomowy

Kojima i in. (NeurIPS 2022) pokazują, że „Let's think step by step" podnosi dokładność z 17,7% do 78,7% na text-davinci-002, czyniąc MultiArith kluczowym benchmarkiem rozumowania LLM.