Robocikowo>ROBOCIKOWO
Ocena jakości

GDPval

2025AktywnyOpublikowano: 24 września 2026Aktualizacja: 24 września 2026Opublikowany
Benchmark OpenAI z września 2025: 1320 realnych zadań zawodowych z 44 profesji i dziewięciu sektorów gospodarki USA, oceniany przez ekspertów na gotowych produktach pracy.
Kluczowa innowacja
Zakotwicza ocenę modeli nie w abstrakcyjnym rozumowaniu, lecz w zawodach realnie tworzących PKB — zadania pochodzą od praktyków ze średnio czternastoletnim stażem, a oceniane są gotowe produkty pracy, za które firmy faktycznie płacą.
Kategoria
Ocena jakości
Poziom abstrakcji
System
Poziom operacji
Środowisko agentoweSystem
Zastosowania
Ocena przydatności modeli w pracy zawodowejAnaliza wpływu AI na poszczególne zawody i sektoryPorównywanie modeli na gotowych produktach pracySkładowa Artificial Analysis Intelligence Index (wariant GDPval-AA)

Jak działa

Zadania powstają w oparciu o bazę czynności zawodowych O*NET: dla każdego z 44 zawodów praktycy z branży układają zestaw poleceń pokrywających większość typowych czynności. Model ma wytworzyć gotowy produkt pracy — nie odpowiedź w oknie czatu, lecz plik: dokument, arkusz, diagram. Ocena opiera się na porównaniach parowych przeprowadzanych przez ekspertów, którzy zestawiają dostarczone artefakty pod kątem relatywnej jakości. W wariancie GDPval-AA v2.1, uruchamianym przez Artificial Analysis w ramach Intelligence Index, modele pracują w środowisku agentowym z narzędziami, wytwarzają pliki wyjściowe, a 220 zadań agentowych ocenianych jest ślepymi porównaniami parowymi z przeliczeniem na Elo modelem Crowd-BT; ta składowa ma w indeksie wagę 10%.

Rozwiązany problem

Benchmarki akademickie mierzą rozumowanie w oderwaniu od tego, za co ktokolwiek płaci. GDPval wiąże ocenę z konkretnymi zawodami i ich rzeczywistymi czynnościami, dzięki czemu wynik da się interpretować w kategoriach ekonomicznych, a nie tylko jako punkt na abstrakcyjnej skali zdolności.

Komponenty

1320 zadań z 44 zawodówZbiór testowy

Co najmniej 30 zadań na zawód w pełnym zestawie i 5 w podzbiorze gold; dziewięć sektorów gospodarki USA.

Zakotwiczenie w bazie O*NETKryterium doboru zadań

Zadania mają pokrywać większość czynności zawodowych rejestrowanych dla profesji; zawód uznawano za pracę umysłową przy co najmniej 60% czynności niefizycznych.

Autorzy z 14-letnim średnim stażemŹródło zadań

Zadania układają praktycy branżowi, co ma zapewnić realizm poleceń i oczekiwanych produktów pracy.

Ocena przez porównania paroweMechanizm oceny

Eksperci zestawiają artefakty pod kątem relatywnej jakości; w wariancie GDPval-AA v2.1 ślepe porównania przeliczane są na Elo modelem Crowd-BT.

Implementacja

Pułapki implementacyjne
Zakotwiczenie w gospodarce USAŚrednia

Dobór zawodów i sektorów opiera się na strukturze gospodarki Stanów Zjednoczonych i bazie O*NET; przenoszenie wniosków na inne rynki wymaga ostrożności.

Rozwiązanie:Interpretuj wyniki jako sygnał o zawodach, nie o gospodarce dowolnego kraju.
Dwa różne warianty pod jedną nazwąWysoka

GDPval OpenAI i GDPval-AA v2.1 Artificial Analysis mają różną liczbę zadań i inny harness — wyniki nie są wprost porównywalne.

Rozwiązanie:Zawsze podawaj, czy wynik pochodzi z GDPval, czy z GDPval-AA, i w jakiej wersji.

Ewolucja

2025
Wprowadzenie GDPval przez OpenAI
Punkt przełomowy

We wrześniu 2025 OpenAI publikuje zestaw 1320 zadań z 44 zawodów i dziewięciu sektorów, oceniany na gotowych produktach pracy.

2026
GDPval-AA v2.1 w Intelligence Index

Artificial Analysis uruchamia własny wariant: 220 zadań agentowych z plikami wyjściowymi, ślepe porównania parowe i Elo modelem Crowd-BT, z wagą 10% w indeksie.