Offensive Cyber Eval
Jak działa
Typowa ewaluacja przebiega w krokach: (1) definicja zestawu zadań — realistyczne wyzwania CTF, podatne aplikacje, zadania eksploitacji lub scenariusze operacji wieloetapowych; (2) opakowanie modelu w scaffold agentowy dający dostęp do narzędzi (powłoka, interpreter kodu, przeglądarka) i pętlę reasoning–action–observation; (3) uruchomienie w izolowanym środowisku (kontener/VM) odciętym od realnych systemów; (4) pomiar wyników — odsetek ukończonych zadań, liczba prób, czas, koszt tokenów, oraz jakościowa analiza łańcucha ataku; (5) badania z udziałem ludzi mierzące „uplift" — porównanie skuteczności uczestników z dostępem do modelu vs. bez; (6) mapowanie wyników na progi zdolności w polityce bezpieczeństwa i decyzja o mitigacjach lub wstrzymaniu wdrożenia. Dodatkowo mierzy się „offensive compliance" (czy model spełnia jawnie złośliwe żądania) oraz False Refusal Rate (odsetek błędnych odmów przy prośbach nieszkodliwych).
Rozwiązany problem
Przed OCE ocena, czy model AI stanowi realne zagrożenie cybernetyczne, opierała się na intuicji i pojedynczych czerwono-zespołowych anegdotach, co uniemożliwiało porównania między modelami i podejmowanie decyzji o wdrożeniu. OCE dostarcza obiektywnych, powtarzalnych metryk (odsetek rozwiązanych CTF, skuteczność eksploitacji, poziom autonomii) pozwalających porównać modele, śledzić wzrost zdolności w czasie i wyznaczyć progi ryzyka.
Komponenty
Zbiór realistycznych zadań ofensywnych: wyzwania CTF (web, pwn, crypto, reversing, forensics), podatne aplikacje i scenariusze eksploitacji, często z krokami pośrednimi (subtasks) dla stopniowania trudności.
Warstwa opakowująca model w pętlę agentową (reasoning–action–observation) z dostępem do narzędzi: powłoki bash, interpretera kodu, przeglądarki. Wybór scaffoldu istotnie wpływa na wynik.
Kontrolowany sandbox (kontener/VM/poligon CTF) odcięty od realnych systemów, w którym model wykonuje działania ofensywne bez ryzyka szkód rzeczywistych.
Mechanizm oceny: odsetek rozwiązanych zadań, liczba prób, czas, koszt, offensive compliance, False Refusal Rate oraz badania z udziałem ludzi mierzące wzmocnienie atakującego (uplift).
Implementacja
Wyniki tego samego modelu potrafią dramatycznie różnić się w zależności od scaffoldu i zestawu narzędzi, co utrudnia porównania między badaniami.
Publiczne zadania CTF mogą znaleźć się w danych treningowych modelu, zawyżając wyniki względem realnych, nowych celów.
Zbyt agresywne zabezpieczenia powodują odmowy przy nieszkodliwych prośbach cyber, zaniżając mierzone zdolności i użyteczność.
Same narzędzia i wyniki OCE mogą stanowić instrukcję ofensywną; wymagają kontrolowanego ujawniania.
Ewolucja
Meta publikuje CyberSecEval mierzący generowanie niebezpiecznego kodu oraz „offensive compliance" — czy model spełnia jawnie złośliwe żądania.
Rozszerzenie o prompt injection, nadużycie interpretera kodu, generowanie exploitów oraz metrykę False Refusal Rate.
Dodaje ocenę automatycznej inżynierii społecznej, skalowania ręcznych operacji ofensywnych oraz autonomicznych operacji cybernetycznych na modelach Llama 3.
Zespół ze Stanford (Andy K. Zhang i in.) publikuje Cybench: 40 profesjonalnych zadań CTF z 4 zawodów, z subtaskami i standaryzowanym scaffoldem agentowym. Praca przyjęta jako ICLR 2025 Oral.
OpenAI Preparedness Framework, Anthropic Responsible Scaling Policy i Google DeepMind Frontier Safety Framework włączają cyber-ewaluacje jako progi zdolności bramkujące wdrożenia; instytuty bezpieczeństwa AI (UK/US) prowadzą niezależne testy.
Hiperparametry (konfigurowalne osie)
Rodzaj pętli agentowej i zestawu narzędzi (structured bash, action-only, pseudoterminal, web search). Silnie wpływa na wynik.
Liczba dozwolonych prób na zadanie (pass@1 vs pass@k) i budżet tokenów/czasu — zmienia raportowaną skuteczność.
Czy zadania rozbito na kroki pośrednie ułatwiające rozwiązanie — wpływa na mierzoną trudność.
Paradygmat wykonania
OCE nie jest architekturą modelu, lecz procesem ewaluacyjnym uruchamianym warunkowo (przed wdrożeniem / przy przekroczeniu progu zdolności).
Równoległość
Poszczególne zadania/CTF można ewaluować równolegle w niezależnych sandboxach; ograniczeniem są koszty i limity API.
Wymagania sprzętowe
OCE to proces ewaluacyjny wokół inferencji modelu i wykonania w sandboxie — niezależny od konkretnego akceleratora; skala zależy od dostępu do modelu i infrastruktury sandbox.