ExploitBench
Jak działa
Proces exploitacji jest dekomponowany na 16 mierzalnych zdolności ułożonych w drabinę o rosnącej trudności: od pokrycia kodu i wywołania crasha, przez prymitywy w piaskownicy, dowolny odczyt/zapis pamięci i przejęcie przepływu sterowania, po wykonanie dowolnego kodu. Każde zadanie opiera się na rzeczywistym błędzie silnika V8. Osiągnięcie danego stopnia jest potwierdzane deterministycznym oracle'em, a wiarygodność wyniku wzmacniają randomizowane warianty wyzwań oraz różnicowa analiza wykonania, ograniczające fałszywe pozytywy. Model lub agent jest charakteryzowany przez najwyższy stopień drabiny, który powtarzalnie osiąga.
Rozwiązany problem
Istniejące benchmarki bezpieczeństwa dla LLM zwykle utożsamiają crash z udaną exploitacją, co zaciera najtrudniejsze etapy ataku: przejście od wywołania błędu do budowy trwałych prymitywów i faktycznego przejęcia kontroli nad celem. ExploitBench rozwiązuje to, wprowadzając zróżnicowaną, wielostopniową miarę rzeczywistych zdolności exploitacyjnych.
Komponenty
16-stopniowa skala od pokrycia kodu i crasha, przez prymitywy w piaskownicy, dowolny odczyt/zapis i przejęcie przepływu sterowania, po wykonanie dowolnego kodu.
41 rzeczywistych podatności silnika JavaScript V8 wykorzystanych jako zadania exploitacyjne.
Randomizowane warianty wyzwań i różnicowa analiza wykonania potwierdzające osiągnięcie danego stopnia i ograniczające fałszywe pozytywy.
Ewolucja
Benchmark opublikowany na arXiv (2605.14153); ocena 8 publicznych modeli frontier i 1 modelu prywatnego na 41 błędach silnika V8.
Hiperparametry (konfigurowalne osie)
Liczba mierzalnych zdolności exploitacyjnych składających się na drabinę.
Liczba błędów użytych jako zadania exploitacyjne.
Modele i agenci poddawani ocenie na benchmarku.