Ocena jakości

CyberGym

AktywnyOpublikowano: 6 sierpnia 2026Aktualizacja: 6 sierpnia 2026Opublikowany

Benchmark UC Berkeley (RDI) do oceny agentow AI w cyberbezpieczenstwie: 1507 realnych podatnosci ze 188 projektow OSS; testuje odkrywanie podatnosci, PoC i latki. Doprowadzil do wykrycia realnych luk zero-day.

Kluczowa innowacja

Wielkoskalowy benchmark oceniajacy agentow AI na realnych zadaniach cyberbezpieczenstwa (odkrywanie i reprodukcja podatnosci, generowanie exploitow PoC oraz tworzenie latek) na bazie prawdziwych podatnosci z projektow open source - a nie zadan syntetycznych.

Kategoria

Ocena jakości

Poziom abstrakcji

Wzorzec

Poziom operacji

Ewaluacja (runtime)

Zastosowania

Ocena agentow AI w cyberbezpieczenstwiePomiar zdolnosci ofensywnych (odkrywanie podatnosci, exploity)Pomiar zdolnosci defensywnych (latanie, reprodukcja)Badania nad ryzykiem i bezpieczenstwem agentow AISledzenie postepu modeli/agentow w czasie

Jak działa

1) Zebrano realne podatnosci z popularnych projektow open source (kod, opis, historia poprawek). 2) Agent AI (z narzedziami: dostep do repozytorium, uruchamianie kodu, fuzzing itp.) dostaje zadanie - np. odtworzyc podatnosc, wygenerowac PoC lub napisac latke. 3) Wynik jest automatycznie weryfikowany wzgledem rzeczywistego zachowania (np. czy exploit wyzwala podatnosc, czy latka ja usuwa bez regresji). 4) Metryki (skutecznosc odkrywania/PoC/latek) sluza do porownywania agentow i modeli oraz sledzenia postepu w czasie.

Rozwiązany problem

Dotychczasowe benchmarki cyberbezpieczenstwa byly male, syntetyczne lub latwe do 'wyuczenia'. CyberGym mierzy realne zdolnosci agentow AI na prawdziwych podatnosciach OSS, dajac wiarygodny obraz ich mozliwosci ofensywnych i defensywnych oraz ryzyka.