security-privacy
CTI-REALM
Benchmark oceniający modele i agentów AI na realistycznych zadaniach z zakresu analizy zagrożeń cybernetycznych (Cyber Threat Intelligence, CTI).
Kategoria
security-privacy
Poziom abstrakcji
Benchmark
Poziom operacji
Ewaluacja (runtime)Aplikacja
Zastosowania
Ocena modeli AI do cyberbezpieczeństwaDobór modelu do zadań analizy zagrożeńBadania nad agentami bezpieczeństwa
Jak działa
Benchmark zawiera zadania odwzorowujące pracę analityka CTI — analizę raportów, ekstrakcję i korelację wskaźników, mapowanie na taksonomie technik ataku — i ocenia trafność oraz kompletność odpowiedzi modeli lub agentów.
Rozwiązany problem
Jak mierzyć przydatność modeli AI do realnych zadań analizy zagrożeń cybernetycznych, a nie tylko do ogólnych pytań o bezpieczeństwo?
Mocne strony i ograniczenia
Mocne strony
✓Realistyczne, domenowe zadania bezpieczeństwa
✓Mierzy praktyczną przydatność, nie tylko wiedzę ogólną
✓Wspiera dobór narzędzi dla zespołów SOC
Ograniczenia
✗Wąska domena (cyberbezpieczeństwo)
✗Szybka dezaktualizacja wobec zmieniających się zagrożeń
✗Ryzyko wycieku danych testowych