τ-bench
Jak działa
W każdym zadaniu agent prowadzi rozmowę z użytkownikiem symulowanym przez model językowy (domyślnie gpt-4o w strategii llm; dostępne też react, verify i reflection). Agent ma dostęp do zestawu domenowych narzędzi API oraz do dokumentu z regułami polityki, których musi przestrzegać. Interakcja modyfikuje stan bazy danych; na końcu stan ten jest porównywany z zaadnotowanym stanem docelowym, co daje wynik binarny dla pojedynczej próby. Aby ocenić niezawodność, każde zadanie uruchamia się k razy i raportuje pass^1…pass^k — udział zadań rozwiązanych spójnie we wszystkich k niezależnych próbach; wartości spadają wraz ze wzrostem k. Repozytorium zawiera też narzędzie auto_error_identification.py, które modelem LLM przypisuje winę (użytkownik, agent lub środowisko) i klasyfikuje typ błędu.
Rozwiązany problem
Dotychczasowe benchmarki agentów testowały pojedyncze, jednorazowe zadania i nie sprawdzały realnej interakcji z użytkownikiem ani konsekwentnego przestrzegania reguł domenowych na przestrzeni wielu tur. τ-bench adresuje to, oceniając agenta w dynamicznej rozmowie z narzędziami i polityką oraz mierząc niezawodność (pass^k), bo w praktyce agent musi działać poprawnie nie raz, lecz powtarzalnie.
Implementacja
Ewolucja
Sierra publikuje τ-bench z domenami retail i airline oraz metryką pass^k; pokazuje, że czołowe agenty rozwiązują poniżej 50% zadań.
Kontynuacja oceniająca agentów rozmownych, gdy zarówno agent, jak i użytkownik mogą działać na współdzielonym środowisku (arXiv:2506.07982).
Najnowsza wersja dodaje domenę bankową oraz ewaluację głosową i poprawia zadania retail/airline; oficjalnie zastępuje oryginalne repozytorium τ-bench.