Robocikowo>ROBOCIKOWO
Ocena jakości

Chartography

2026AktywnyOpublikowano: 18 listopada 2026Aktualizacja: 18 listopada 2026Opublikowany
Benchmark firmy Surge AI oceniający rozumienie profesjonalnych wykresów przez modele multimodalne: 100 zadań z 12 dziedzin, odpowiedzi tworzą i weryfikują eksperci.
Kluczowa innowacja
Pierwszy benchmark mierzący rozumienie wykresów w formatach profesjonalnych (m.in. krzywe Kaplana-Meiera, wykresy świecowe, diagramy Sankeya, wykresy Bodego), w którym pytania i wzorcowe odpowiedzi tworzą praktykujący eksperci dziedzinowi, a nie automatyczna ekstrakcja etykiet.
Kategoria
Ocena jakości
Poziom abstrakcji
Benchmark
Poziom operacji
Ewaluacja (runtime)
Zastosowania
Ewaluacja modeli wizyjno-językowych (VLM)Pomiar rozumienia profesjonalnych wykresówTestowanie rozumowania wieloetapowego na grafikachBenchmarking modeli frontierowychOcena percepcji wizualnej i konwencji dziedzinowych

Jak działa

Model otrzymuje obraz wykresu i pytanie, a następnie musi udzielić odpowiedzi opartej wyłącznie na samym wykresie i znajomości konwencji danej dziedziny — bez danych zewnętrznych. Zadania tworzą praktykujący specjaliści, którzy dołączają wzorcową odpowiedź, opis ścieżki obliczeń oraz ekspercko wyznaczony zakres akceptowalny (np. „150 mph, akceptowalne 140–150 mph”), ponieważ rozdzielczość odczytu z wykresu bywa różna i pojedyncza tolerancja procentowa jest niewystarczająca. Odpowiedź modelu ocenia sędzia, porównując ją z odpowiedzią wzorcową; wartość mieszcząca się w zakresie akceptowalnym liczy się jako poprawna (metryka pass@1). Zadania zapisane są w formacie Harbor. Najczęstsze przyczyny błędów modeli to: pomijanie cienkich lub nakładających się elementów, odczyt błędnej wartości mimo podążania za właściwą cechą, trudności z wykresami powierzchni 3D, niestosowanie niejawnych konwencji dziedzinowych oraz kumulacja drobnych błędów wizualnych.

Rozwiązany problem

Dotychczasowe benchmarki rozumienia wykresów (np. ChartQA, CharXiv, ChartMuseum) uległy nasyceniu — ekstrakcja etykietowanych punktów danych jest w praktyce rozwiązana, a modele frontierowe osiągają na nich wysokie wyniki. Chartography adresuje lukę w ocenie trudniejszych umiejętności: szacowania wartości względem rzadko opisanych osi, śledzenia nakładających się przepływów do ich źródeł, odczytu wykresów powierzchni 3D przez rzutowane siatki oraz wieloetapowych obliczeń, w których każdy krok zależy od osobnego odczytu wizualnego i znajomości konwencji dziedzinowych.

Komponenty

Zadania eksperckie

100 zadań (wykres + pytanie) z 12 dziedzin zawodowych, każde napisane przez praktykującego specjalistę i zweryfikowane przez kilku innych ekspertów.

Wzorcowe odpowiedzi z zakresem akceptowalnym

Każde zadanie ma ekspercką odpowiedź wzorcową, opis ścieżki obliczeń oraz wyznaczony zakres akceptowalny zamiast stałej tolerancji procentowej.

Sędzia oceniający (pass@1)

Sędzia porównuje odpowiedź modelu z odpowiedzią wzorcową; wartość w zakresie akceptowalnym liczy się jako poprawna.

Format Harbor

Zadania zapisane w formacie frameworku Harbor (instruction.md, task.toml, environment/, tests/).

Implementacja

Pułapki implementacyjne
Ryzyko kontaminacji danych (data leakage)Wysoka

Benchmark jest przeznaczony do ewaluacji held-out; autorzy proszą, aby zadań i materiałów pochodnych nie używać w treningu, fine-tuningu, RL, distylacji ani selekcji checkpointów.

Rozwiązanie:Traktuj zbiór wyłącznie jako zbiór testowy i wyklucz go z danych treningowych.
Próbki publiczne to nie pełny wynikŚrednia

Publiczny zbiór na Hugging Face zawiera tylko 2 przykładowe zadania; wynik na nich nie stanowi wyniku na pełnym benchmarku (100 zadań, dostęp przez benchmarks@surgehq.ai).

Rozwiązanie:Po pełny zestaw zgłoś się do Surge AI; nie raportuj wyniku z 2 próbek jako wyniku benchmarku.
Ocena przez zakresy akceptowalneNiska

Ocena używa eksperckich zakresów akceptowalnych per zadanie, a nie stałej tolerancji procentowej — należy to uwzględnić przy porównaniach.

Rozwiązanie:Stosuj dostarczone zakresy akceptowalne i metrykę pass@1 zgodnie z metodologią.

Ewolucja

Oryginalny paper · 2026 · BEAM 2 Workshop, ECCV 2026 · Suhaas Garre
Chartography: A Benchmark for Professional Chart Understanding
Suhaas Garre, Chris Mutty, Sushant Mehta, Edwin Chen
2026
Publikacja benchmarku Chartography
Punkt przełomowy

Surge AI publikuje benchmark (arXiv, 11.08.2026, przyjęty na warsztat BEAM 2 @ ECCV 2026): 100 zadań z 12 dziedzin; najlepszy model frontierowy osiąga 45,0% pass@1.