Ocena jakości

CyberGym

AktywnyOpublikowano: 6 sierpnia 2026Aktualizacja: 6 sierpnia 2026Opublikowany

Benchmark UC Berkeley (RDI) do oceny agentow AI w cyberbezpieczenstwie: 1507 realnych podatnosci ze 188 projektow OSS; testuje odkrywanie podatnosci, PoC i latki. Doprowadzil do wykrycia realnych luk zero-day.

Kluczowa innowacja

Wielkoskalowy benchmark oceniajacy agentow AI na realnych zadaniach cyberbezpieczenstwa (odkrywanie i reprodukcja podatnosci, generowanie exploitow PoC oraz tworzenie latek) na bazie prawdziwych podatnosci z projektow open source - a nie zadan syntetycznych.

Kategoria

Ocena jakości

Poziom abstrakcji

Wzorzec

Poziom operacji

Ewaluacja (runtime)

Zastosowania

Ocena agentow AI w cyberbezpieczenstwiePomiar zdolnosci ofensywnych (odkrywanie podatnosci, exploity)Pomiar zdolnosci defensywnych (latanie, reprodukcja)Badania nad ryzykiem i bezpieczenstwem agentow AISledzenie postepu modeli/agentow w czasie

Jak działa

1) Zebrano realne podatnosci z popularnych projektow open source (kod, opis, historia poprawek). 2) Agent AI (z narzedziami: dostep do repozytorium, uruchamianie kodu, fuzzing itp.) dostaje zadanie - np. odtworzyc podatnosc, wygenerowac PoC lub napisac latke. 3) Wynik jest automatycznie weryfikowany wzgledem rzeczywistego zachowania (np. czy exploit wyzwala podatnosc, czy latka ja usuwa bez regresji). 4) Metryki (skutecznosc odkrywania/PoC/latek) sluza do porownywania agentow i modeli oraz sledzenia postepu w czasie.

Rozwiązany problem

Dotychczasowe benchmarki cyberbezpieczenstwa byly male, syntetyczne lub latwe do 'wyuczenia'. CyberGym mierzy realne zdolnosci agentow AI na prawdziwych podatnosciach OSS, dajac wiarygodny obraz ich mozliwosci ofensywnych i defensywnych oraz ryzyka.

Komponenty

Zbior realnych podatnosciZadania testowe

1507 realnych podatnosci ze 188 projektow OSS (E2E: 920/139) z kodem i historia poprawek.

Srodowisko agenta (harness)Wykonanie zadan

Narzedzia dla agenta: repozytorium, uruchamianie kodu, fuzzing, analiza.

Oficjalna

Automatyczna weryfikacjaOcena wynikow

Sprawdza wynik wzgledem rzeczywistosci (exploit wyzwala luke, latka ja usuwa).

Oficjalna

Metryki i tablica wynikowPorownanie

Skutecznosc odkrywania/PoC/latek do porownywania agentow i modeli.

Oficjalna

Implementacja

Implementacje referencyjne

CyberGym (RDI Berkeley)

UC Berkeley RDI

Oficjalna

Pułapki implementacyjne

Bezpieczne uruchamianie exploitowWysoka

Ewaluacja generuje dzialajace exploity - wymaga scislej izolacji, by nie wyrzadzic szkod.

Rozwiązanie:Sandboxing, srodowiska jednorazowe, kontrola sieci.

Ryzyko podwojnego zastosowania (dual-use)Wysoka

Agenci zdolni znajdowac zero-day moga byc wykorzystani ofensywnie.

Rozwiązanie:Odpowiedzialne ujawnianie, kontrola dostepu, ramy governance.

Wyciek do danych treningowychŚrednia

Publiczne podatnosci OSS moga trafic do danych treningowych modeli, zawyzajac wyniki.

Rozwiązanie:Kontrola dat, warianty ukryte/holdout, weryfikacja realnym dzialaniem.

Ewolucja

2025

Publikacja CyberGym (RDI, Berkeley)

Punkt przełomowy

RDI (UC Berkeley) publikuje CyberGym - 1507 realnych podatnosci ze 188 projektow OSS (arXiv:2506.02548).

2026

CyberGym-E2E i prezentacja na ICLR

Prezentacja na ICLR 2026 oraz wariant E2E (920 podatnosci/139 projektow); wykrycie 35 zero-day i 17 niepelnych latek.

Hiperparametry (konfigurowalne osie)

Typ zadaniaKrytyczna

Odkrywanie/reprodukcja podatnosci, generowanie PoC lub tworzenie latki.

Wariant benchmarkuWysoka

Pelny (1507/188) vs CyberGym-E2E (920/139).

Narzedzia agentaWysoka

Dostepne agentowi narzedzia (repo, uruchamianie kodu, fuzzing).

Złożoność obliczeniowa

Złożoność czasowa: Nie dotyczy (benchmark ewaluacyjny, nie algorytm). Złożoność przestrzenna: Nie dotyczy.

Wąskie gardło obliczeniowe

Uruchamianie i weryfikacja zadan w izolacji

Ewaluacja wymaga uruchamiania kodu/exploitow w izolowanych srodowiskach (sandbox) dla 1500+ zadan; waskim gardlem jest bezpieczne wykonanie i weryfikacja, a nie sam model.

Zależy od

Izolacja/sandboxLiczba zadan i prob