Robocikowo>ROBOCIKOWO
Ocena jakości

τ-bench

2024AktywnyOpublikowano: 17 listopada 2026Aktualizacja: 17 listopada 2026Opublikowany
Benchmark firmy Sierra do oceny interakcji narzędzie-agent-użytkownik: agent rozmawia z symulowanym użytkownikiem, używa API i musi przestrzegać reguł polityki. Wprowadza metrykę pass^k.
Kluczowa innowacja
Benchmark, który zamiast jednorazowych zadań mierzy niezawodność agenta w wieloturowych rozmowach z symulowanym użytkownikiem i narzędziami API, wprowadzając metrykę pass^k oceniającą spójność działania w wielu niezależnych próbach.
Kategoria
Ocena jakości
Poziom abstrakcji
Benchmark
Poziom operacji
Środowisko agentoweTooling
Zastosowania
Ocena niezawodności agentów narzędziowych w wielu próbach (pass^k)Testowanie przestrzegania reguł polityki przez agentów rozmownychPorównywanie strategii agenta: tool-calling, Act, ReActEwaluacja obsługi klienta w domenach retail i airline

Jak działa

W każdym zadaniu agent prowadzi rozmowę z użytkownikiem symulowanym przez model językowy (domyślnie gpt-4o w strategii llm; dostępne też react, verify i reflection). Agent ma dostęp do zestawu domenowych narzędzi API oraz do dokumentu z regułami polityki, których musi przestrzegać. Interakcja modyfikuje stan bazy danych; na końcu stan ten jest porównywany z zaadnotowanym stanem docelowym, co daje wynik binarny dla pojedynczej próby. Aby ocenić niezawodność, każde zadanie uruchamia się k razy i raportuje pass^1…pass^k — udział zadań rozwiązanych spójnie we wszystkich k niezależnych próbach; wartości spadają wraz ze wzrostem k. Repozytorium zawiera też narzędzie auto_error_identification.py, które modelem LLM przypisuje winę (użytkownik, agent lub środowisko) i klasyfikuje typ błędu.

Rozwiązany problem

Dotychczasowe benchmarki agentów testowały pojedyncze, jednorazowe zadania i nie sprawdzały realnej interakcji z użytkownikiem ani konsekwentnego przestrzegania reguł domenowych na przestrzeni wielu tur. τ-bench adresuje to, oceniając agenta w dynamicznej rozmowie z narzędziami i polityką oraz mierząc niezawodność (pass^k), bo w praktyce agent musi działać poprawnie nie raz, lecz powtarzalnie.

Ewolucja

Oryginalny paper · 2024 · arXiv preprint (2024) · Shunyu Yao
τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
Shunyu Yao, Noah Shinn, Pedram Razavi, Karthik Narasimhan
2024
Publikacja τ-bench (retail, airline)
Punkt przełomowy

Sierra publikuje τ-bench z domenami retail i airline oraz metryką pass^k; pokazuje, że czołowe agenty rozwiązują poniżej 50% zadań.

2025
τ²-bench (środowisko dwustronnej kontroli)

Kontynuacja oceniająca agentów rozmownych, gdy zarówno agent, jak i użytkownik mogą działać na współdzielonym środowisku (arXiv:2506.07982).

2026
τ³-bench (domena bankowa, modalność głosowa)

Najnowsza wersja dodaje domenę bankową oraz ewaluację głosową i poprawia zadania retail/airline; oficjalnie zastępuje oryginalne repozytorium τ-bench.