Robocikowo>ROBOCIKOWO
Ocena jakości

AIME 2026

2026AktywnyOpublikowano: 4 września 2026Aktualizacja: 4 września 2026Opublikowany
Edycja 2026 amerykańskiego konkursu matematycznego AIME, używana jako świeży, niezanieczyszczony benchmark rozumowania matematycznego modeli AI (pass@1).
Kluczowa innowacja
Coroczna edycja AIME dostarcza świeży, niezanieczyszczony zestaw zadań matematycznych z odpowiedzią całkowitą, który stał się de facto standardem pomiaru zdolności rozumowania matematycznego modeli AI metryką pass@1.
Kategoria
Ocena jakości
Poziom abstrakcji
Wzorzec
Poziom operacji
Ewaluacja (runtime)
Zastosowania
Ewaluacja rozumowania matematycznego LLMPorównywanie modeli rozumujących (reasoning models)Karty modeli i tabele wyników (leaderboards)Test niezanieczyszczonego zbioru (contamination-free evaluation)

Jak działa

Model otrzymuje treść zadania AIME i musi wygenerować rozwiązanie zakończone pojedynczą odpowiedzią całkowitą (000–999). Odpowiedź jest wyodrębniana z wygenerowanego tekstu i porównywana z kluczem. Standardową metryką jest pass@1 (odsetek zadań rozwiązanych poprawnie przy jednej próbie); ze względu na małą liczbę zadań (15 na edycję, 30 łącznie dla AIME I+II) często raportuje się uśrednienie z wielu próbkowań (avg@n / mean pass@1) w celu redukcji wariancji.

Rozwiązany problem

Benchmarki matematyczne szybko ulegają zanieczyszczeniu danymi treningowymi (data contamination), przez co przestają rzetelnie mierzyć rzeczywiste rozumowanie modelu. Świeża edycja AIME 2026 dostarcza aktualny, prawdopodobnie nieobecny w treningu zestaw zadań, pozwalając ocenić generalizację rozumowania matematycznego zamiast zapamiętywania.

Komponenty

AIME I i AIME IIDwie równoważne edycje konkursu w danym roku

MAA co roku wydaje dwie wersje egzaminu; obie bywają używane jako oddzielne lub połączone zestawy testowe dla modeli AI.

Zestaw 15 zadań z odpowiedzią całkowitąWłaściwy materiał testowy

Każda edycja zawiera 15 zadań; odpowiedzią jest liczba całkowita 000–999, co ułatwia automatyczną, jednoznaczną weryfikację odpowiedzi modelu.

Protokół oceny pass@1Metryka pomiaru skuteczności

Odsetek poprawnych odpowiedzi przy jednej próbie; często uśredniany po wielu próbkowaniach ze względu na małą próbę.

Implementacja

Pułapki implementacyjne
Zanieczyszczenie danych (data contamination)Wysoka

Starsze edycje AIME mogą przeniknąć do danych treningowych, zawyżając wyniki; dlatego preferuje się najświeższą edycję.

Rozwiązanie:Używać najnowszej, dopiero opublikowanej edycji i monitorować daty odcięcia treningu modeli.
Wysoka wariancja przy małej próbieWysoka

Tylko 15 zadań na edycję (30 dla AIME I+II) sprawia, że pojedynczy pass@1 jest zaszumiony.

Rozwiązanie:Raportować uśrednienie z wielu próbkowań (avg@n) oraz przedziały ufności.
Parsowanie odpowiedziŚrednia

Wyodrębnienie końcowej liczby całkowitej z rozumowania modelu bywa zawodne i wpływa na wynik.

Rozwiązanie:Stosować wymuszony format odpowiedzi (np. boxed) i solidny ekstraktor.

Ewolucja

1983
Pierwsza edycja AIME

MAA wprowadza AIME jako 15-zadaniowy, 3-godzinny egzamin selekcyjny.

2024
AIME 2024 jako standardowy benchmark rozumowania LLM
Punkt przełomowy

Edycja 2024 zaczyna być masowo raportowana w kartach modeli rozumujących jako miara rozumowania matematycznego (pass@1).

2025
AIME 2025 jako świeży, niezanieczyszczony zestaw testowy

Po opublikowaniu zadań w 2025 r. edycja staje się aktualnym benchmarkiem; zestaw AIME 2025 zostaje włączony m.in. do metodologii Artificial Analysis.

2026
AIME 2026 — najnowsza niezanieczyszczona edycja

Edycja 2026 pełni rolę najświeższego, prawdopodobnie nieobecnego w treningu zestawu do oceny modeli rozumujących.

Hiperparametry (konfigurowalne osie)

pass@kWysoka

Liczba prób dozwolonych przy ocenie; pass@1 to standard dla AIME.

Liczba próbkowań (avg@n)Wysoka

Liczba generacji uśrednianych dla redukcji wariancji przy tylko 15 zadaniach na edycję.

Temperatura próbkowaniaŚrednia

Wpływa na różnorodność generacji i stabilność wyniku pass@1.