Robocikowo>ROBOCIKOWO
Ocena jakości

APEX-Agents

2026AktywnyOpublikowano: 18 listopada 2026Aktualizacja: 18 listopada 2026Opublikowany
Benchmark firmy Mercor oceniający agentów AI na 480 długich zadaniach zawodowych z bankowości inwestycyjnej, konsultingu i prawa korporacyjnego, w realistycznych środowiskach z plikami i narzędziami.
Kluczowa innowacja
Przenosi pomiar produktywności AI z pojedynczych pytań eksperckich (APEX) na długie, wieloetapowe zadania agentowe wykonywane w realistycznych środowiskach z plikami i narzędziami.
Kategoria
Ocena jakości
Poziom abstrakcji
Benchmark
Poziom operacji
Ewaluacja (runtime)Środowisko agentoweAplikacja
Zastosowania
Ewaluacja zdolności agentowych modeli i agentów AIPorównywanie agentów na długich zadaniach zawodowychPomiar postępu w automatyzacji pracy wiedzy (knowledge work)Testy agentów do zadań z bankowości, konsultingu i prawa

Jak działa

Każde zadanie jest osadzone w środowisku zawierającym pliki wejściowe i dostępne narzędzia, a agent musi wykonać wieloetapową pracę aż do dostarczenia wyniku. Odpowiedź agenta oceniana jest względem rubryk i wzorcowych wyników (gold outputs), a skuteczność raportowana metryką Pass@1 (odsetek zadań zaliczonych przy jednej próbie). Uruchamianie agentów i ocenę zapewnia otwarta infrastruktura Archipelago. Zadania pochodzą z trzech domen zawodowych: bankowości inwestycyjnej, konsultingu i prawa korporacyjnego.

Rozwiązany problem

Dotychczasowe benchmarki profesjonalne (w tym APEX) oceniały modele na pojedynczych pytaniach i nie sprawdzały, czy agent potrafi doprowadzić do końca realne, wieloetapowe zadanie wymagające pracy na plikach i narzędziach. APEX-Agents wypełnia tę lukę, mierząc produktywność agentów w zadaniach zbliżonych do faktycznej pracy zawodowej.

Ewolucja

Oryginalny paper · 2026 · arXiv 2601.14242 (Mercor) · Bertie Vidgen
APEX-Agents
Bertie Vidgen
2025
Publikacja APEX (The AI Productivity Index)

Mercor publikuje APEX — benchmark oceniający frontierowe modele na pojedynczych, eksperckich pytaniach z czterech zawodów: bankowości inwestycyjnej, konsultingu, prawa korporacyjnego i medycyny.

2026
Publikacja APEX-Agents
Punkt przełomowy

Mercor rozszerza APEX na zadania agentowe: 480 długich, wieloetapowych zadań w realistycznych środowiskach z plikami i narzędziami; najwyższy wynik Pass@1 wynosi 24,0%.