Zespół z Uniwersytetu Beihang, ELLIS, Singapore Management University i IQuest Research udostępnił CyberFactory — otwarty pipeline zamieniający publiczne zgłoszenia podatności w uruchamialne, automatycznie sprawdzalne zadania dla agentów. Na tych danych wytrenowano OpenAegis, model rozwiązujący 58,1% zadań w teście CyberGym przy godzinnym limicie. Publikacja trafiła na arXiv 24 sierpnia 2026 roku.
Najważniejsze w skrócie
- CyberGym Pass@1 przy limicie godziny: OpenAegis 58,1% wobec 29,6% bazowego Qwen 3.5
- Przewaga nad Kimi K2.7 wynosi 6,4 punktu, nad GLM 5.2 — 14,8 punktu
- OpenAegis ma 397B parametrów przy 17B aktywnych — mniej niż obaj rywale
- Zadania powstają z trzech źródeł: ARVO, OSS-Fuzz?OSS-Fuzz: Darmowa usługa ciągłego fuzzingu projektów open source, prowadzona przez Google we współpracy z OpenSSF. Fuzzing zasypuje program masą generowanych danych wejściowych, aż któreś wywoła awarię ujawniającą błąd. oraz publicznych zgłoszeń CVE
- Repozytorium GitHub wskazane w publikacji było puste 1 września 2026 roku
Z wpisu w bazie CVE do zadania, które da się zweryfikować
Najtrudniejszym materiałem są zwykłe zgłoszenia CVE. Mają opis, typ podatności i commit naprawczy, ale nie mają środowiska, w którym cokolwiek da się uruchomić. CyberFactory odtwarza wersję sprzed i po poprawce, buduje oba obrazy i dokłada oracle różnicowy: kandydujący input leci dwa razy, a zadanie zalicza się tylko wtedy, gdy wywoła awarię w wersji podatnej i nie wywoła jej w naprawionej.
- Wpis CVE — opis, typ podatności i commit naprawczy, bez środowiska, w którym cokolwiek da się uruchomić
- Odtworzenie — wersja kodu sprzed poprawki i wersja po poprawce
- Build — oba obrazy, osobno
- Oracle różnicowy — kandydujący input leci dwa razy, po jednym uruchomieniu na obraz
- Zaliczenie — tylko wtedy, gdy input wywoła awarię w wersji podatnej i nie wywoła jej w naprawionej
Pipeline CyberFactory zamienia statyczny wpis CVE w zadanie, które maszyna potrafi ocenić bez człowieka. Ciężar spoczywa na ostatnim kroku: jeśli wersja podatna i naprawiona zachowają się tak samo, zadanie nie przechodzi walidacji.
Skill dostaje nauczyciel, nie uczeń
Drugim elementem jest reużywalny skill analizy podatności — opis procedury, nie gotowa odpowiedź. Autorzy używają go wyłącznie przy generowaniu trajektorii przez model-nauczyciela: GLM 5.2 bez skilla osiąga 43,3% Pass@1?Pass@1: Odsetek zadań rozwiązanych przy jednej próbie na zadanie. Miara surowa — model nie dostaje drugiego podejścia. w jednej 60-minutowej próbie, ze skillem 46,5% w pięciu próbach po 15 minut. OpenAegis tego tekstu przy wnioskowaniu nie dostaje — procedura zostaje w wagach po pełnym fine-tuningu.
| Model | Pass@1 (limit 1 h) |
|---|---|
| OpenAegis | 58,1% |
| Kimi K2.7 | 51,7% |
| GLM 5.2 | 43,3% |
| Qwen 3.5 (baza) | 29,6% |
Kompresja kontekstu?Kompresja kontekstu: Streszczenie dotychczasowej historii pracy agenta w momencie, gdy okno kontekstu się zapełnia, tak żeby kolejne kroki wciąż mieściły się w limicie. przesądza o długich zadaniach
Odtworzenie podatności to często kilkadziesiąt wywołań narzędzi, więc kontekst kończy się przed zadaniem. Przy zapełnieniu w 90% agent streszcza dowody, nieudane próby i stan budowania do opisu, z którego da się pracować dalej. Wobec pełnej historii daje to 58,1% zamiast 52,1% ogólnie i 48,7% zamiast 40,2% na zadaniach powyżej 40 interakcji.
Dlaczego to ważne?
Otwarte modele przegrywały w cyberbezpieczeństwie nie brakiem wiedzy, lecz brakiem danych pokazujących sam przebieg pracy. Otwarte wagi bez otwartego procesu treningu nie wystarczały. CyberFactory pokazuje, że proceduralną dyscyplinę da się wytworzyć syntetycznie i przenieść do wag mniejszego modelu, zamiast doklejać ją promptem przy każdym uruchomieniu. Wniosek jest dwuznaczny: ta sama umiejętność, która skraca audyt kodu, obniża próg wejścia dla automatycznego polowania na luki w cudzym oprogramowaniu.
Co dalej?
- Kolekcja CyberFactory na Hugging Face zawiera na razie tylko wpis o publikacji, bez wag
- Autorzy przyznają, że pełne wyniki mają tylko dla odtwarzania podatności, a łatanie i CyberQA czekają na osobną ocenę
- Poprawka na arXiv z 25 sierpnia zaktualizowała wyniki po treningu na nowych danych agentowych
Źródła
- arXiv — CyberFactory: Scaling Cyber Security Capabilities with Instances from the Wild
- Jiqizhixin — AI能挖漏洞吗?北航等机构把真实漏洞炼进了模型参数
- Hugging Face — CyberFactory





