Chartography
Jak działa
Model otrzymuje obraz wykresu i pytanie, a następnie musi udzielić odpowiedzi opartej wyłącznie na samym wykresie i znajomości konwencji danej dziedziny — bez danych zewnętrznych. Zadania tworzą praktykujący specjaliści, którzy dołączają wzorcową odpowiedź, opis ścieżki obliczeń oraz ekspercko wyznaczony zakres akceptowalny (np. „150 mph, akceptowalne 140–150 mph”), ponieważ rozdzielczość odczytu z wykresu bywa różna i pojedyncza tolerancja procentowa jest niewystarczająca. Odpowiedź modelu ocenia sędzia, porównując ją z odpowiedzią wzorcową; wartość mieszcząca się w zakresie akceptowalnym liczy się jako poprawna (metryka pass@1). Zadania zapisane są w formacie Harbor. Najczęstsze przyczyny błędów modeli to: pomijanie cienkich lub nakładających się elementów, odczyt błędnej wartości mimo podążania za właściwą cechą, trudności z wykresami powierzchni 3D, niestosowanie niejawnych konwencji dziedzinowych oraz kumulacja drobnych błędów wizualnych.
Rozwiązany problem
Dotychczasowe benchmarki rozumienia wykresów (np. ChartQA, CharXiv, ChartMuseum) uległy nasyceniu — ekstrakcja etykietowanych punktów danych jest w praktyce rozwiązana, a modele frontierowe osiągają na nich wysokie wyniki. Chartography adresuje lukę w ocenie trudniejszych umiejętności: szacowania wartości względem rzadko opisanych osi, śledzenia nakładających się przepływów do ich źródeł, odczytu wykresów powierzchni 3D przez rzutowane siatki oraz wieloetapowych obliczeń, w których każdy krok zależy od osobnego odczytu wizualnego i znajomości konwencji dziedzinowych.
Komponenty
100 zadań (wykres + pytanie) z 12 dziedzin zawodowych, każde napisane przez praktykującego specjalistę i zweryfikowane przez kilku innych ekspertów.
Każde zadanie ma ekspercką odpowiedź wzorcową, opis ścieżki obliczeń oraz wyznaczony zakres akceptowalny zamiast stałej tolerancji procentowej.
Sędzia porównuje odpowiedź modelu z odpowiedzią wzorcową; wartość w zakresie akceptowalnym liczy się jako poprawna.
Zadania zapisane w formacie frameworku Harbor (instruction.md, task.toml, environment/, tests/).
Implementacja
Benchmark jest przeznaczony do ewaluacji held-out; autorzy proszą, aby zadań i materiałów pochodnych nie używać w treningu, fine-tuningu, RL, distylacji ani selekcji checkpointów.
Publiczny zbiór na Hugging Face zawiera tylko 2 przykładowe zadania; wynik na nich nie stanowi wyniku na pełnym benchmarku (100 zadań, dostęp przez benchmarks@surgehq.ai).
Ocena używa eksperckich zakresów akceptowalnych per zadanie, a nie stałej tolerancji procentowej — należy to uwzględnić przy porównaniach.
Ewolucja
Surge AI publikuje benchmark (arXiv, 11.08.2026, przyjęty na warsztat BEAM 2 @ ECCV 2026): 100 zadań z 12 dziedzin; najlepszy model frontierowy osiąga 45,0% pass@1.