Kazde zadanie jest zdefiniowane wraz z izolowanym srodowiskiem (kontener/sandbox) i zestawem testow weryfikujacych. Agent AI otrzymuje opis zadania i dostep do terminala, po czym samodzielnie wykonuje polecenia, edytuje pliki i uruchamia narzedzia, aby osiagnac cel. Po zakonczeniu uruchamiane sa testy sprawdzajace, czy kryteria sukcesu zostaly spelnione; zaliczenie jest binarne (task resolved / nie). Wyniki wielu agentow/modeli agreguje leaderboard, podajac odsetek rozwiazanych zadan dla danej wersji (np. terminal-bench@2.1).
Rozwoj agentow dzialajacych w terminalu wymaga obiektywnej, powtarzalnej miary ich skutecznosci na realnych zadaniach. Wczesniejsze benchmarki LLM czesto oceniaja pojedyncze odpowiedzi, a nie wieloetapowe dzialanie agenta w prawdziwym srodowisku wykonawczym.
Zestaw realnych zadan terminalowych z jednoznacznie zdefiniowanym warunkiem zaliczenia.
Kontenerowe srodowisko wykonawcze (Harbor), w ktorym agent bezpiecznie uruchamia polecenia.
Oficjalna
Automatyczne testy sprawdzajace, czy zadanie zostalo poprawnie rozwiazane (binarne zaliczenie).
Publiczny ranking odsetka rozwiazanych zadan dla agentow i modeli w danej wersji.
Oficjalna
Popularne benchmarki szybko sie nasycaja, a ich zadania moga trafic do danych treningowych, zawyzajac wyniki.
Wynik zalezy nie tylko od modelu, ale i od 'obudowy' agenta (narzedzia, petla), co utrudnia porownania samych modeli.
Premiera pierwszej wersji benchmarku (wspolpraca Stanford i Laude Institute) z 80 zadaniami terminalowymi i publicznym leaderboardem.
Rozszerzone i dopracowane wersje (2.0 - 89 wysokiej jakosci zadan; 2.1 - wersja aktualna) oraz warianty Science i Challenges.
