Robocikowo>ROBOCIKOWO
Ocena jakości

Online-Mind2Web

2025AktywnyOpublikowano: 6 sierpnia 2026Aktualizacja: 6 sierpnia 2026Opublikowany
Benchmark do oceny autonomicznych agentow webowych na zywych stronach z ocena ludzka: 300 realistycznych zadan na 136 witrynach. Autorstwa OSU-NLP; live wersja Mind2Web.
Kluczowa innowacja
Ocena agentow webowych na zywych, dynamicznych stronach z ludzka ewaluacja (a nie na buforowanych stronach), co ujawnilo znaczaca luke miedzy wynikami na starszych benchmarkach a realna skutecznoscia ('iluzja postepu').
Kategoria
Ocena jakości
Poziom abstrakcji
Wzorzec
Poziom operacji
Ewaluacja (runtime)
Zastosowania
Ocena agentow webowych i CUA na zywych stronachPorownywanie modeli/agentow z ludzka ewaluacjaWykrywanie 'iluzji postepu' wzgledem syntetycznych benchmarkowSledzenie postepu w automatyzacji zadan webowychBadania nad niezawodnoscia agentow

Jak działa

Agent otrzymuje realistyczne zadanie (jedno z 300) i wykonuje je na zywej stronie (jednej ze 136 witryn), nawigujac i wchodzac w interakcje jak uzytkownik. Po zakonczeniu ludzie oceniaja, czy zadanie zostalo faktycznie wykonane (ocena ludzka zamiast automatycznej), co daje wiarygodny wskaznik skutecznosci. Poniewaz strony sa dynamiczne, test odzwierciedla realne warunki (zmiany UI, tresci, dostepnosci). Wyniki roznych agentow/modeli trafiaja na wspolny leaderboard.

Rozwiązany problem

Starsze benchmarki agentow webowych opieraly sie na buforowanych stronach i automatycznej ocenie, przez co zawyzaly skutecznosc agentow. Brakowalo miary realnego dzialania na zywych, zmieniajacych sie stronach z wiarygodna ocena.

Komponenty

Zadania na zywych stronach (300/136)Definicja pomiaru.

300 realistycznych zadan na 136 zywych witrynach, odzwierciedlajacych realne uzycie.

Ludzka ewaluacjaWiarygodny sygnal skutecznosci.

Ludzie oceniaja, czy zadanie zostalo faktycznie wykonane - zamiast automatycznej, zawyzajacej oceny.

Srodowisko live (bez cache)Realizm warunkow.

Testy w czasie rzeczywistym wobec dynamicznych, zmieniajacych sie interfejsow.

Oficjalna

LeaderboardAgregacja i porownanie.

Publiczny ranking wynikow agentow i modeli.

Oficjalna

Implementacja

Pułapki implementacyjne
Koszt i skalowalnosc ludzkiej ocenyŚrednia

Ocena przez ludzi jest wiarygodna, ale kosztowna i wolniejsza niz automatyczna.

Rozwiązanie:Jasne rubryki oceny, probkowanie, czesciowa automatyzacja z weryfikacja.
Niestabilnosc zywych stronŚrednia

Zmiany na zywych stronach moga wplywac na powtarzalnosc i porownywalnosc wynikow w czasie.

Rozwiązanie:Wersjonowanie zadan, monitoring dostepnosci stron, raportowanie daty testu.

Ewolucja

Oryginalny paper · 2025 · arXiv:2504.01382 (OSU-NLP)
An Illusion of Progress? Assessing the Current State of Web Agents
2023
Mind2Web (oryginalny)

OSU-NLP wprowadzil Mind2Web - benchmark do generalistycznych agentow webowych, oparty na zebranych/buforowanych danych.

2025
Online-Mind2Web i 'iluzja postepu'
Punkt przełomowy

Live wersja z ludzka ewaluacja ujawnila, ze realna skutecznosc agentow jest znacznie nizsza niz na starszych benchmarkach.