Ocena jakości
AI Safety Evaluation
AktywnyAktualizacja: 5 września 2026Opublikowany
Zbiór metod i procedur oceniających bezpieczeństwo modeli AI: niebezpieczne zdolności, podatność na nadużycia, zgodność z wartościami i odporność na ataki.
Kluczowa
innowacja
Systematyczne, powtarzalne testowanie modeli AI pod kątem niebezpiecznych zdolności, zachowań i ryzyk przed i po wdrożeniu.
Kategoria
Ocena jakości
Poziom abstrakcji
Wzorzec
Poziom operacji
Ewaluacja (runtime)
Zastosowania
Ocena modeli przed wdrożeniem (pre-deployment testing)Wykrywanie niebezpiecznych zdolności (CBRN, cyber)Testy odporności na jailbreaki i nadużyciaAudyty zgodności regulacyjnej
Jak działa
Ewaluacja definiuje zagrożenia i progi ryzyka, następnie stosuje testy: automatyczne benchmarki, ustrukturyzowany red-teaming, oceny zdolności w kontrolowanych warunkach oraz eksperymenty behawioralne. Wyniki porównuje się z progami bezpieczeństwa (np. Responsible Scaling Policy), które determinują zabezpieczenia lub wstrzymanie wdrożenia.
Rozwiązany problem
Coraz zdolniejsze modele mogą stwarzać poważne ryzyka; bez rygorystycznej, standaryzowanej oceny nie da się wiarygodnie stwierdzić, czy model jest bezpieczny do wdrożenia.
Mocne strony i ograniczenia
Mocne strony
✓Dostarcza dowodów empirycznych o ryzykach modelu
✓Umożliwia porównywalność między modelami
✓Wspiera decyzje o wdrożeniu i regulacje
Ograniczenia
✗Brak dowodu bezpieczeństwa nie jest dowodem braku ryzyka
✗Ewaluacje mogą nie wykrywać ukrytych zdolności
✗Ryzyko manipulacji przez model (sandbagging, alignment faking)