Robocikowo>ROBOCIKOWO
Bezpieczeństwo

HackerBench v0.3

2026AktywnyOpublikowano: 24 września 2026Aktualizacja: 24 września 2026Opublikowany
Benchmark cyberbezpieczeństwa xAI mierzący odsetek ryzykownych promptów podwójnego zastosowania, które model przepuszcza, przy jednoczesnym zachowaniu niskiego poziomu odmów dla uprawnionej pracy security.
Kluczowa innowacja
Mierzy bezpieczeństwo dwukierunkowo: nie tylko ile ryzykownych promptów model przepuszcza, ale też czy nie odmawia pracy uprawnionej — bo model odmawiający wszystkiego jest bezużyteczny, a nie bezpieczny.
Kategoria
Bezpieczeństwo
Poziom abstrakcji
System
Poziom operacji
Po-treningSystem
Zastosowania
Ocena bezpieczeństwa modeli w zadaniach cyberbezpieczeństwaWykrywanie nadmiernej ostrożności modelu (over-refusal)Porównywanie modeli pod kątem promptów podwójnego zastosowaniaRaportowanie bezpieczeństwa w kartach modeli

Jak działa

Model otrzymuje prompty z obszaru cyberbezpieczeństwa o różnym charakterze — od zadań jednoznacznie uprawnionych, przez przypadki podwójnego zastosowania, po wprost złośliwe. System rejestruje, ile ryzykownych promptów zostało przepuszczonych, czyli obsłużonych zamiast odrzuconych. Równolegle mierzy się odsetek odmów dla zadań legalnych, żeby wykryć nadmierną ostrożność. Zestawienie obu liczb pozwala odróżnić model faktycznie rozróżniający intencję od takiego, który po prostu odmawia szerokiej kategorii tematów. Wersja 0.3 jest tą, którą xAI raportowało przy Grok 4.7; numeracja poniżej 1.0 sugeruje, że benchmark pozostaje w fazie rozwojowej.

Rozwiązany problem

Ocena bezpieczeństwa modeli w cyberbezpieczeństwie łatwo degeneruje się w jedną z dwóch skrajności: albo mierzy się wyłącznie blokowanie, co premiuje modele odmawiające wszystkiego, albo wyłącznie użyteczność, co ignoruje nadużycia. HackerBench wymusza patrzenie na oba wskaźniki naraz.

Komponenty

Prompty ryzykowne podwójnego zastosowaniaGłówna oś pomiaru

Zadania, które mogą służyć zarówno obronie, jak i atakowi; mierzy się odsetek przepuszczonych.

Zadania uprawnioneKontrola nadmiernej ostrożności

Legalna praca z obszaru bezpieczeństwa; mierzy się odsetek niepotrzebnych odmów.

Implementacja

Pułapki implementacyjne
Nieopublikowana metodologiaWysoka

Skład zestawu, liczba zadań i kryteria klasyfikacji promptu jako ryzykownego nie są publiczne — wyniki trudno niezależnie odtworzyć.

Rozwiązanie:Traktuj wyniki jako deklarację producenta modelu, a nie jako pomiar niezależny.
Czytanie jednej liczby w oderwaniuWysoka

Sam niski odsetek przepuszczeń nic nie mówi — model odmawiający wszystkiego osiągnie wynik bliski zeru i będzie bezużyteczny.

Rozwiązanie:Zawsze czytaj odsetek przepuszczeń razem z odsetkiem odmów dla zadań uprawnionych.

Ewolucja

2026
Raportowanie wersji 0.3 przy premierze Grok 4.7
Punkt przełomowy

xAI podaje, że Grok 4.7 przepuszcza 3,3% ryzykownych promptów podwójnego zastosowania przy niskim odsetku odmów dla uprawnionej pracy.