APEX-Agents
Jak działa
Każde zadanie jest osadzone w środowisku zawierającym pliki wejściowe i dostępne narzędzia, a agent musi wykonać wieloetapową pracę aż do dostarczenia wyniku. Odpowiedź agenta oceniana jest względem rubryk i wzorcowych wyników (gold outputs), a skuteczność raportowana metryką Pass@1 (odsetek zadań zaliczonych przy jednej próbie). Uruchamianie agentów i ocenę zapewnia otwarta infrastruktura Archipelago. Zadania pochodzą z trzech domen zawodowych: bankowości inwestycyjnej, konsultingu i prawa korporacyjnego.
Rozwiązany problem
Dotychczasowe benchmarki profesjonalne (w tym APEX) oceniały modele na pojedynczych pytaniach i nie sprawdzały, czy agent potrafi doprowadzić do końca realne, wieloetapowe zadanie wymagające pracy na plikach i narzędziach. APEX-Agents wypełnia tę lukę, mierząc produktywność agentów w zadaniach zbliżonych do faktycznej pracy zawodowej.
Implementacja
Ewolucja
Mercor publikuje APEX — benchmark oceniający frontierowe modele na pojedynczych, eksperckich pytaniach z czterech zawodów: bankowości inwestycyjnej, konsultingu, prawa korporacyjnego i medycyny.
Mercor rozszerza APEX na zadania agentowe: 480 długich, wieloetapowych zadań w realistycznych środowiskach z plikami i narzędziami; najwyższy wynik Pass@1 wynosi 24,0%.