Robocikowo>ROBOCIKOWO
Ocena jakości

ProgramBench

2026AktywnyOpublikowano: 18 listopada 2026Aktualizacja: 18 listopada 2026Opublikowany
Benchmark firmy Meta (FAIR) oceniający, czy modele językowe potrafią odbudować kompletny program od zera: mając tylko skompilowany plik binarny i dokumentację, agent AI musi zaprojektować i zaimplementować cały kod odtwarzający zachowanie oryginału. 200 zadań, ponad 248 000 testów behawioralnych.
Kluczowa innowacja
Zamiast poprawiać istniejący kod (jak SWE-bench), ProgramBench każe agentowi odtworzyć cały program od zera wyłącznie na podstawie skompilowanego pliku binarnego i jego dokumentacji — bez dostępu do kodu źródłowego, dekompilacji i internetu.
Kategoria
Ocena jakości
Poziom abstrakcji
Benchmark
Poziom operacji
Ewaluacja (runtime)Środowisko agentowe
Zastosowania
Ewaluacja autonomicznych agentów kodującychPomiar długohoryzontowej inżynierii oprogramowaniaTest rekonstrukcji programu z pliku binarnego i dokumentacjiPorównywanie modeli AI na zadaniach code generationBadanie granic planowania i budowania systemów od zera

Jak działa

1) Wejście zadania: agent dostaje skompilowany plik binarny docelowego programu oraz jego dokumentację. 2) Ograniczenia: brak dostępu do kodu źródłowego, zakaz dekompilacji i brak internetu podczas inferencji; agent sam wybiera język, strukturę projektu i skrypt budowania. 3) Wytworzenie: agent produkuje kompletny kod źródłowy (submission.tar.gz) odtwarzający zachowanie oryginału. 4) Ewaluacja: harness ProgramBench buduje zgłoszenie w izolowanym kontenerze Docker (obrazy cleanroom, tylko linux/amd64) i uruchamia ukryte, per-gałęziowe archiwa testów behawioralnych pobierane z HuggingFace. 5) Punktacja: instancja liczy się jako "resolved", gdy przechodzą wszystkie testy; dodatkowo raportuje się "almost resolved" (≥95% testów) i średni odsetek zdanych testów. Ranking na stronie programbench.com sortuje modele po odsetku resolved, przy identycznym szkielecie mini-swe-agent dla wszystkich.

Rozwiązany problem

Większość benchmarków kodowania (np. SWE-bench) mierzy drobne poprawki w istniejącym repozytorium, co nie sprawdza zdolności do samodzielnego zaprojektowania i zbudowania całego działającego systemu. ProgramBench wypełnia tę lukę: testuje długohoryzontowe, autonomiczne budowanie oprogramowania od podstaw i weryfikuje je rygorystycznie dużą liczbą ukrytych testów behawioralnych zamiast powierzchownych asercji.

Komponenty

Zadanie: binarka + dokumentacjaWejście benchmarku

Każda z 200 instancji dostarcza wyłącznie skompilowany plik wykonywalny i dokumentację docelowego programu — jedyne dozwolone wejście dla agenta.

Zgłoszenie agenta (submission.tar.gz)Artefakt oceniany

Kompletny kod źródłowy wytworzony przez agenta, spakowany per instancja, który ma odtworzyć zachowanie oryginalnego programu.

Harness ewaluacyjny w Docker (cleanroom)Silnik oceny

Buduje zgłoszenie w izolowanych obrazach cleanroom (tylko linux/amd64) i uruchamia ukryte, per-gałęziowe archiwa testów pobierane z HuggingFace.

Zestaw testów behawioralnychKryterium poprawności

Ponad 248 000 ukrytych testów behawioralnych weryfikujących zgodność zachowania wytworzonego kodu z oryginałem; podstawa metryk resolved / almost-resolved.

Implementacja

Pułapki implementacyjne
Brak internetu podczas inferencjiWysoka

Agent nie może korzystać z internetu w trakcie rozwiązywania zadania; złamanie tej zasady unieważnia zgłoszenie jako skażone (contaminated).

Rozwiązanie:Uruchamiaj inferencję w odizolowanym środowisku bez dostępu sieciowego i weryfikuj czystość (cleanroom) przed zgłoszeniem.
Obrazy tylko dla linux/amd64Średnia

Obrazy Docker benchmarku są budowane wyłącznie dla linux/amd64 (x86_64) i nie działają natywnie na macOS/Windows; emulacja przez QEMU jest wolna.

Rozwiązanie:Uruchamiaj inferencję i ewaluację na maszynie Linux x86_64.

Ewolucja

Oryginalny paper · 2026 · arXiv (cs.SE) · John Yang
ProgramBench: Can Language Models Rebuild Programs From Scratch?
John Yang, Kilian Lieret, Jeffrey Ma, Parth Thakkar, Dmitrii Pedchenko, Sten Sootla, Emily McMilin, Pengcheng Yin, Rui Hou, Gabriel Synnaeve, Diyi Yang, Ofir Press
2026
Publikacja ProgramBench
Punkt przełomowy

Meta (FAIR) i współpracownicy publikują ProgramBench (arXiv:2605.03546), repozytorium facebookresearch/ProgramBench, dataset na HuggingFace oraz leaderboard na programbench.com, z baselinem opartym na mini-swe-agent.

Wymagania sprzętowe

Podstawowe

ProgramBench to harness ewaluacyjny uruchamiany w kontenerach Docker (linux/amd64) i jest niezależny od modelu oraz akceleratora; wymagania sprzętowe zależą od ocenianego agenta, nie od samego benchmarku.