Benchmark Saturation
Jak działa
1. Faza wczesna: benchmark publikowany, top modele osiagaja 40-70% - benchmark efektywnie rozroznianc jakosc, jest 'zdrowy'. 2. Faza dojrzalosci: 1-3 lata po publikacji, modele osiagaja 70-85% - dalej roznicujace, ale przestrzen poprawy sie zawezа. 3. Faza saturacji: 3-5 lat, top modele 90%+ - roznica <2% miedzy SOTA a poprzednim modelem, statystycznie nieistotna dla wiekszosci publikacji. Benchmark 'martwy'. 4. Diagnoza (metryki saturacji): (a) top-k score distribution - wszystkie top-10 modeli w zakresie 2%, (b) human-level performance osiagniete lub przekroczone, (c) improvements per unit compute - rownie kosztowna optymalizacja daje coraz mniejszy zysk, (d) data contamination checks (rip-off from pretraining) pokazuja zaburzenie. 5. Reakcje: (a) upgrade benchmarku (MMLU -> MMLU-Pro, LIBERO -> LIBERO-Long), (b) tworzenie nowego trudniejszego benchmarku (Humanity Last Exam, ARC-AGI-2), (c) evolving benchmarks - dodawanie zadan w czasie (RoboLab agentic scene generation, aktualizacje kwartalne), (d) held-out test set z API-only access (Kaggle, HumanEval-X), (e) real-world deployment metrics zamiast benchmark scores.
Rozwiązany problem
Bez rozpoznania Benchmark Saturation ryzykujemy: (1) publikowanie 'przelomow' bazujacych na irrelewantnym benchmark'u; (2) alokowanie zasobow badawczych na optymalizacje benchmark specific; (3) marnowanie compute na modele lepsze o 0.3% ale rownie dobrych praktycznie; (4) blednie przekonania ze SOTA models rozwiazuja problem, ktory tak naprawde jeszcze pozostaje otwarty. Rozpoznanie saturacji wymusza reinvestment w trudniejsze zadania i lepsze metodologie.
Komponenty
Maksymalny mozliwy wynik na benchmark'u (typowo 100% success rate). Saturacja definiowana jako zblizenie top modeli do tego sufitu.
Roznica wynikow miedzy top-1 a top-10 modelami. Maly gap (<2%) = saturacja - benchmark nie roznizuje.
Wynik osiagany przez czlowieka lub ekspertow. Przekroczenie human baseline czesto oznacza rozpoczecie saturacji.
Oficjalna
Metody wykrywania czy test set trafil do pretreningu: string matching w corpus, membership inference attacks, held-out probe.
Oficjalna
Nowy trudniejszy benchmark zastepujacy saturowany (GLUE -> SuperGLUE, MMLU -> MMLU-Pro, LIBERO -> LIBERO-Long, HumanEval -> LiveCodeBench).
Oficjalna
Implementacja
Nie kazdy 90% wynik oznacza saturacje - warto sprawdzic czy top-k gap jest naprawde <2% i czy poprawy sa reproducibly.
Model 'osiaga' 95% bo test set trafil do pretreningu - false saturation. HumanEval, MMLU maja udokumentowane przypadki.
SuperGLUE saturowal szybciej niz GLUE - w rok. Tworzenie nowych benchmarkow staje sie 'game of catchup' vs pretraining scale.
Skupianie tylko na jednym scoreach saturowanego benchmarku ignoruje inne wymiary jakosci (safety, efficiency, robustness, cost).
Zasoby badawcze marnowane na wyzyskanie 0.3% wiecej z saturowanego benchmarku zamiast atakowac trudniejsze problemy.
Ewolucja
AlexNet startuje rewolucje deep learning z 15.3% error na ImageNet. Do 2015 ResNet dochodzi do 3.6% - benchmark saturacji.
GLUE (Wang et al.) 9-task benchmark do general-purpose NLU. BERT (2018) w rok osiaga human parity - saturacja.
Zespol GLUE publikuje SuperGLUE explicit jako 'stickier benchmark' - PIERWSZE formalne uznanie Benchmark Saturation w NLP i uzasadnienie budowy nastepcy.
T5 (Google) osiaga 89.3% na SuperGLUE, w 2020 DeBERTa 90.3%, w 2021 T5-XXL 89.9%. Zjawisko sie powtarza - hardcore recognition ze benchmarks staja sie saturowane szybciej.
MMLU 57-domain multi-task benchmark - odpowiedz na saturacje wczesniejszych. Ale sam w 2023-2024 saturuje przy GPT-4/Claude 3/Gemini 1.5 wszystkich 80%+.
Fala nastepcow: MMLU-Pro (Wang et al.) - 10x wiecej opcji odpowiedzi, GPQA Diamond (Rein et al.) - PhD-level, ARC-AGI (Chollet) - abstract reasoning odporne na scaling. Odpowiedz na saturacje MMLU.
Center for AI Safety + Scale AI publikuja HLE - 3000 najtrudniejszych pytan z 100+ dziedzin, celowo zaprojektowanych aby odporne na saturacje. GPT-5 osiaga 15%. Nazwa sugeruje ze to 'ostatni benchmark' - ale historia pokazuje ze i on saturuje.
NVIDIA RoboLab (RSS 2026) wprowadza 'evolving task libraries' - biblioteka zadan rosnie w czasie, generowana agentycznie, zapobiegajac saturacji z definicji. Nowy paradygmat: benchmark nie jest statyczny, tylko continuously updated.
Hiperparametry (konfigurowalne osie)
Wartosc top-k gap ktora wyznacza saturacje. Standardowo 2%, ale rozne dla roznych domen.
Czy uzywac human baseline jako sygnalu saturacji.
Poziom rygoru sprawdzania czy test-set nie trafil do pretreningu.
Złożoność obliczeniowa
Złożoność czasowa: N/A (zjawisko obserwacyjne). Złożoność przestrzenna: N/A.
Paradygmat wykonania
Zjawisko nie ma paradygmatu wykonawczego per se - diagnoza jest statyczna.
Równoległość
Diagnoza saturacji polega na rownoleglej ewaluacji wielu modeli - trivial embarrassingly parallel.
Wymagania sprzętowe
Benchmark Saturation to zjawisko obserwacyjne - nie ma preferencji hardware. Diagnoza wymaga tylko dostepu do wynikow leaderboarda.