Robocikowo>ROBOCIKOWO
Ocena jakości

Terminal-Bench

2025AktywnyOpublikowano: 6 sierpnia 2026Aktualizacja: 6 sierpnia 2026Opublikowany
Benchmark oceniajacy 'terminal mastery' agentow AI - ich zdolnosc do wykonywania realnych zadan w wierszu polecen (inzynieria oprogramowania, ML, bezpieczenstwo, data science, administracja). Wspolpraca Stanford i Laude Institute; oparty na frameworku Harbor.
Kluczowa innowacja
Ustandaryzowany, wykonywalny benchmark mierzacy zdolnosc agentow AI do rozwiazywania realnych zadan w srodowisku terminala (CLI), z automatyczna weryfikacja wynikow w izolowanych srodowiskach.
Kategoria
Ocena jakości
Poziom abstrakcji
Wzorzec
Poziom operacji
Ewaluacja (runtime)
Zastosowania
Ocena agentow terminalowych (Claude Code, Codex, Muse Code)Porownywanie modeli pod katem dzialania agentowegoPomiar postepu w automatyzacji zadan inzynierii oprogramowaniaTestowanie agentow w zadaniach ML, bezpieczenstwa i sysadminBadania nad agentami wykonujacymi wieloetapowe zadania

Jak działa

Kazde zadanie jest zdefiniowane wraz z izolowanym srodowiskiem (kontener/sandbox) i zestawem testow weryfikujacych. Agent AI otrzymuje opis zadania i dostep do terminala, po czym samodzielnie wykonuje polecenia, edytuje pliki i uruchamia narzedzia, aby osiagnac cel. Po zakonczeniu uruchamiane sa testy sprawdzajace, czy kryteria sukcesu zostaly spelnione; zaliczenie jest binarne (task resolved / nie). Wyniki wielu agentow/modeli agreguje leaderboard, podajac odsetek rozwiazanych zadan dla danej wersji (np. terminal-bench@2.1).

Rozwiązany problem

Rozwoj agentow dzialajacych w terminalu wymaga obiektywnej, powtarzalnej miary ich skutecznosci na realnych zadaniach. Wczesniejsze benchmarki LLM czesto oceniaja pojedyncze odpowiedzi, a nie wieloetapowe dzialanie agenta w prawdziwym srodowisku wykonawczym.

Komponenty

Zadania i kryteria sukcesuDefinicja tego, co jest mierzone.

Zestaw realnych zadan terminalowych z jednoznacznie zdefiniowanym warunkiem zaliczenia.

Izolowane srodowisko (sandbox)Powtarzalne, bezpieczne wykonanie.

Kontenerowe srodowisko wykonawcze (Harbor), w ktorym agent bezpiecznie uruchamia polecenia.

Oficjalna

Testy weryfikujaceObiektywny sygnal poprawnosci.

Automatyczne testy sprawdzajace, czy zadanie zostalo poprawnie rozwiazane (binarne zaliczenie).

LeaderboardAgregacja i porownanie wynikow.

Publiczny ranking odsetka rozwiazanych zadan dla agentow i modeli w danej wersji.

Oficjalna

Implementacja

Pułapki implementacyjne
Saturacja i wyciek do treninguŚrednia

Popularne benchmarki szybko sie nasycaja, a ich zadania moga trafic do danych treningowych, zawyzajac wyniki.

Rozwiązanie:Nowe wersje i zadania (2.0/2.1), zadania trzymane w ukryciu, rotacja i audyt kontaminacji.
Zaleznosc od harnessu agentaŚrednia

Wynik zalezy nie tylko od modelu, ale i od 'obudowy' agenta (narzedzia, petla), co utrudnia porownania samych modeli.

Rozwiązanie:Raportowanie konfiguracji agenta, standaryzacja harnessu przy porownaniach.

Ewolucja

2025
Terminal-Bench 1.0 (80 zadan)
Punkt przełomowy

Premiera pierwszej wersji benchmarku (wspolpraca Stanford i Laude Institute) z 80 zadaniami terminalowymi i publicznym leaderboardem.

2026
Terminal-Bench 2.0 / 2.1

Rozszerzone i dopracowane wersje (2.0 - 89 wysokiej jakosci zadan; 2.1 - wersja aktualna) oraz warianty Science i Challenges.