Ocena jakości

SWE-bench Verified

2024AktywnyAktualizacja: 17 września 2026Opublikowany

Zweryfikowany przez ludzi podzbiór 500 zadań SWE-bench (współpraca OpenAI Preparedness i autorów SWE-bench) do oceny rozwiązywania realnych zgłoszeń GitHub w Pythonie.

Kluczowa innowacja

Zweryfikowany przez ludzi podzbiór 500 zadań SWE-bench, w którym inżynierowie potwierdzili rozwiązywalność problemów — wiarygodniejszy pomiar zdolności agentów do naprawy realnego kodu.

Kategoria

Ocena jakości

Poziom abstrakcji

System

Poziom operacji

Ewaluacja (runtime)

Zastosowania

Ocena agentów i asystentów kodowaniaPorównywanie modeli na realnych naprawach koduWeryfikacja postępu w pętlach samodoskonalenia agentów

Jak działa

Agent otrzymuje treść zgłoszenia i migawkę repozytorium, po czym proponuje zmianę w kodzie (patch). Zmiana jest aplikowana i uruchamiane są testy repozytorium (w tym testy odtwarzające błąd i testy regresji). Zadanie liczy się jako rozwiązane, gdy wszystkie wymagane testy przechodzą; główną metryką jest odsetek rozwiązanych zgłoszeń (pass@1) na 500 zadaniach.

Rozwiązany problem

Pełny SWE-bench zawiera zadania nierozwiązywalne lub źle wyspecyfikowane, co zaniża i zaszumia wyniki; Verified dostarcza rzetelny, potwierdzony przez ludzi podzbiór do porównywania agentów kodujących.