Robocikowo>ROBOCIKOWO
Ocena jakości

TerminalWorld

2026AktywnyAktualizacja: 17 września 2026Opublikowany
Benchmark agentów terminalowych oparty na skalowalnym silniku danych, który odtwarza zadania z „dzikich" nagrań sesji terminala (1530 zadań, 18 kategorii, 1280 komend).
Kluczowa innowacja
Skalowalny „silnik danych", który automatycznie odtwarza wysokiej wierności zadania ewaluacyjne z rzeczywistych nagrań sesji terminala — zamiast ręcznie kurowanych zadań.
Kategoria
Ocena jakości
Poziom abstrakcji
System
Poziom operacji
Ewaluacja (runtime)Tooling
Zastosowania
Ewaluacja agentów terminalowych / CLITestowanie agentów kodujących i DevOpsWeryfikacja poprawy w pętlach samodoskonalenia (np. DarwinX)

Jak działa

Silnik danych przetwarza masowe nagrania sesji terminala, wydobywa z nich powtarzalne przepływy i przekształca je w zadania z automatycznie weryfikowalnymi warunkami sukcesu. Zadania są walidowane, a najlepiej sprawdzone trafiają do podzbioru Verified. Agent oceniany jest po tym, czy poprawnie zrealizuje wieloetapowe zadanie w środowisku terminala.

Rozwiązany problem

Ręcznie kurowane benchmarki terminalowe słabo odzwierciedlają realne, złożone przepływy pracy; TerminalWorld skalowalnie wytwarza autentyczne zadania z prawdziwych sesji, uzupełniając (a nie dublując) benchmarki eksperckie.

Ewolucja

Oryginalny paper · 2026 · arXiv (maj 2026) · Zhaoyang Chu
TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks
Zhaoyang Chu, He Ye, Federica Sarro
2026
Publikacja TerminalWorld
Punkt przełomowy

arXiv 2605.22535 (21 maja 2026); silnik danych z 80 870 nagrań → 1530 zadań, podzbiór Verified 200.

2026
Użycie w DarwinX

DarwinX raportuje 68,3% (28/41) na własnym, wydzielonym splicie TerminalWorld (baza Opus 4.8).