ProgramBench
Jak działa
1) Wejście zadania: agent dostaje skompilowany plik binarny docelowego programu oraz jego dokumentację. 2) Ograniczenia: brak dostępu do kodu źródłowego, zakaz dekompilacji i brak internetu podczas inferencji; agent sam wybiera język, strukturę projektu i skrypt budowania. 3) Wytworzenie: agent produkuje kompletny kod źródłowy (submission.tar.gz) odtwarzający zachowanie oryginału. 4) Ewaluacja: harness ProgramBench buduje zgłoszenie w izolowanym kontenerze Docker (obrazy cleanroom, tylko linux/amd64) i uruchamia ukryte, per-gałęziowe archiwa testów behawioralnych pobierane z HuggingFace. 5) Punktacja: instancja liczy się jako "resolved", gdy przechodzą wszystkie testy; dodatkowo raportuje się "almost resolved" (≥95% testów) i średni odsetek zdanych testów. Ranking na stronie programbench.com sortuje modele po odsetku resolved, przy identycznym szkielecie mini-swe-agent dla wszystkich.
Rozwiązany problem
Większość benchmarków kodowania (np. SWE-bench) mierzy drobne poprawki w istniejącym repozytorium, co nie sprawdza zdolności do samodzielnego zaprojektowania i zbudowania całego działającego systemu. ProgramBench wypełnia tę lukę: testuje długohoryzontowe, autonomiczne budowanie oprogramowania od podstaw i weryfikuje je rygorystycznie dużą liczbą ukrytych testów behawioralnych zamiast powierzchownych asercji.
Komponenty
Każda z 200 instancji dostarcza wyłącznie skompilowany plik wykonywalny i dokumentację docelowego programu — jedyne dozwolone wejście dla agenta.
Kompletny kod źródłowy wytworzony przez agenta, spakowany per instancja, który ma odtworzyć zachowanie oryginalnego programu.
Buduje zgłoszenie w izolowanych obrazach cleanroom (tylko linux/amd64) i uruchamia ukryte, per-gałęziowe archiwa testów pobierane z HuggingFace.
Ponad 248 000 ukrytych testów behawioralnych weryfikujących zgodność zachowania wytworzonego kodu z oryginałem; podstawa metryk resolved / almost-resolved.
Implementacja
Agent nie może korzystać z internetu w trakcie rozwiązywania zadania; złamanie tej zasady unieważnia zgłoszenie jako skażone (contaminated).
Obrazy Docker benchmarku są budowane wyłącznie dla linux/amd64 (x86_64) i nie działają natywnie na macOS/Windows; emulacja przez QEMU jest wolna.
Ewolucja
Meta (FAIR) i współpracownicy publikują ProgramBench (arXiv:2605.03546), repozytorium facebookresearch/ProgramBench, dataset na HuggingFace oraz leaderboard na programbench.com, z baselinem opartym na mini-swe-agent.
Wymagania sprzętowe
ProgramBench to harness ewaluacyjny uruchamiany w kontenerach Docker (linux/amd64) i jest niezależny od modelu oraz akceleratora; wymagania sprzętowe zależą od ocenianego agenta, nie od samego benchmarku.