Ocena jakości

ARVO

2024AktywnyOpublikowano: 2 września 2026Aktualizacja: 2 września 2026Opublikowany

Odtwarzalny zbiór danych ponad 6100 realnych podatności OSS z OSS-Fuzz, z obrazami Docker (wersja podatna i załatana) do ewaluacji narzędzi i AI.

Kluczowa innowacja

Zapewnia odtwarzalne, kontenerowe środowiska dla ponad 6100 realnych podatności z OSS-Fuzz, przekształcając ulotne zgłoszenia fuzzingu w stabilny, wielokrotnie odtwarzalny benchmark do oceny narzędzi (w tym AI) do wykrywania i naprawy podatności.

Kategoria

Ocena jakości

Poziom abstrakcji

System

Poziom operacji

Dane

Zastosowania

Benchmark do oceny narzędzi wykrywania podatnościEwaluacja modeli AI/LLM w automatycznej naprawie programów (APR)Badania nad automatycznym generowaniem i weryfikacją łatekTrening i testowanie narzędzi analizy bezpieczeństwaOdtwarzalne studia przypadków realnych podatności OSS

Jak działa

ARVO wykorzystuje metadane OSS-Fuzz do zrekonstruowania dla każdej podatności kompletnego, samowystarczalnego środowiska. Pipeline odtwarza konfigurację build i kompiluje podatną wersję kodu, uruchamia dostarczony proof-of-concept, aby potwierdzić wyzwolenie błędu, a następnie identyfikuje commit łatający i weryfikuje, że łatka usuwa awarię. Każdy przypadek jest pakowany jako obraz Docker z wersją podatną i załataną. W ewaluacji ARVO odtwarza około 81% podatności i lokalizuje commit łatający z wysoką trafnością (rzędu 89%).

Rozwiązany problem

Zgłoszenia podatności z fuzzingu (np. OSS-Fuzz) są trudne do wiarygodnego odtworzenia: środowiska build, zależności i wersje kodu szybko się dezaktualizują, przez co brakuje stabilnego, dużego benchmarku do porównywalnej oceny narzędzi i modeli AI do wykrywania oraz naprawy podatności.