Ocena jakości

AutomationBench

2026AktywnyOpublikowano: 23 września 2026Aktualizacja: 23 września 2026Opublikowany

Benchmark Zapiera oceniający agentów AI w automatyzacji realnych procesów biznesowych między aplikacjami przez REST API, w symulowanych środowiskach SaaS.

Kluczowa innowacja

Pierwszy benchmark łączący koordynację wielu aplikacji, autonomiczne odkrywanie endpointów REST API i przestrzeganie reguł biznesowych w symulowanych środowiskach SaaS, z oceną wyłącznie na podstawie stanu końcowego (bez sędziego LLM).

Kategoria

Ocena jakości

Poziom abstrakcji

System

Poziom operacji

Ewaluacja (runtime)Środowisko agentowe

Zastosowania

Ocena agentów AI do automatyzacji procesów biznesowychPorównywanie modeli w zadaniach agentowych z użyciem narzędzi (tool use)Testowanie koordynacji między aplikacjami przez REST APIPomiar przestrzegania reguł biznesowych przez agentów

Jak działa

Agent otrzymuje polecenie i dostęp do zestawu narzędzi REST API reprezentujących symulowane aplikacje SaaS. Musi samodzielnie odkryć właściwe endpointy, wykonać sekwencję wywołań API realizujących zadanie i przestrzegać reguł biznesowych, ignorując rekordy-pułapki. Po zakończeniu grader porównuje stan końcowy środowiska z oczekiwanym: metryka partial_credit (0.0–1.0) mierzy odsetek spełnionych asercji, a task_completed_correctly to ścisłe zaliczenie/niezaliczenie całego zadania. Ocena jest deterministyczna, bez udziału sędziego LLM.

Rozwiązany problem

Istniejące benchmarki automatyzacji rzadko łączyły jednocześnie koordynację wielu aplikacji, samodzielne odkrywanie właściwych endpointów API oraz przestrzeganie reguł i polityk biznesowych — a także rzadko testowały agentów w środowiskach zaśmieconych nieistotnymi lub mylącymi danymi. AutomationBench mierzy zdolność agenta do wykonania realnego, wieloetapowego procesu biznesowego od początku do końca i pozostawienia systemów w poprawnym stanie.

Komponenty

Symulowane środowiska SaaSŚrodowisko wykonania zadań

Odizolowane, symulowane aplikacje SaaS (CRM, skrzynka pocztowa, kalendarz, arkusze itp.) z danymi początkowymi, w tym rekordami-pułapkami; agent działa wyłącznie przez wywołania REST API. Publiczny zestaw obejmuje 47 narzędzi.

Zestaw zadańDefinicja zadań i domen

600 punktowanych zadań w 6 domenach (sprzedaż, marketing, operacje, wsparcie, finanse, HR; po 100) plus niepunktowany zestaw „simple” z 200 prostymi zadaniami (1–2 kroki). Oficjalny ranking używa oddzielnego, trudniejszego, nieudostępnionego zestawu prywatnego.

Programistyczny grader stanu końcowegoOcena

Deterministyczny grader oparty na asercjach: partial_credit (0.0–1.0) i task_completed_correctly (pass/fail). Porównuje stan końcowy z oczekiwanym, bez sędziego LLM.

Implementacja

Implementacje referencyjne

zapier/AutomationBench (GitHub)

Python · Zapier

Oficjalna

Pułapki implementacyjne

Mylenie z AutomationBench-AAŚrednia

AutomationBench (Zapier) i AutomationBench-AA (niezależny ranking Artificial Analysis na prywatnym podzbiorze) używają różnych metryk. Ranking Zapiera raportuje odsetek zadań ukończonych w pełni; AutomationBench-AA raportuje średni udział zrealizowanych celów bez naruszeń guardrails — dlatego jego wyniki bywają znacznie wyższe.

Rozwiązanie:Zawsze wskazuj, który ranking/metryka jest cytowany i na jakim zestawie (publiczny vs prywatny).

Porównywanie wyników z różnych zestawówNiska

Publiczny zestaw (600 zadań) jest łatwiejszy niż prywatny zestaw z oficjalnego rankingu; wyniki nie są bezpośrednio porównywalne.

Rozwiązanie:Porównuj tylko wyniki z tego samego zestawu i wersji benchmarku.

Ewolucja

Oryginalny paper · 2026 · arXiv preprint (cs.AI) · Daniel Shepard

AutomationBench

Daniel Shepard, Robin Salimans

2026

Publikacja benchmarku AutomationBench (Zapier)

Punkt przełomowy

Zapier publikuje pracę na arXiv (21 kwietnia 2026) oraz publiczny zestaw 600 zadań na GitHub; najlepsze modele frontier uzyskują poniżej 10% na trudnym zestawie.

AutomationBench (artykuł)

2026

Uruchomienie niezależnego rankingu AutomationBench-AA (Artificial Analysis)

Artificial Analysis, we współpracy z Zapierem, uruchamia niezależny ranking na prywatnym podzbiorze zadań, z metryką opartą na średnim udziale zrealizowanych celów bez naruszeń guardrails (odrębna encja od samego AutomationBench).