Refusal
Jak działa
Odmowa jest instalowana w fazie po-treningu (post-training): preferencje ludzkie uczą model odrzucania żądań ocenianych jako szkodliwe (RLHF — Bai i in., 2022), co uzupełniają safety fine-tuning oraz metody oparte na zasadach (Constitutional AI). W trakcie inferencji model rozpoznaje żądanie jako naruszające politykę i generuje odpowiedź-odmowę zamiast treści merytorycznej. Analiza mechanistyczna (Arditi i in., 2024) na 13 otwartych modelach o rozmiarze do 72 mld parametrów pokazała, że zachowanie to jest reprezentowane przez pojedynczy kierunek w strumieniu rezydualnym (refusal direction): ablacja tego kierunku usuwa odmowy, a jego dodanie wywołuje odmowy nawet dla nieszkodliwych promptów. Sufiksy adwersarialne stosowane w jailbreakach tłumią ten kierunek, co autorzy interpretują jako dowód kruchości obecnego treningu bezpieczeństwa.
Rozwiązany problem
Pozwala modelowi nie wykonywać żądań szkodliwych, niebezpiecznych lub naruszających polityki — bez twardego, regułowego filtrowania wejścia — ograniczając nadużycia i potencjalne szkody przy zachowaniu ogólnej użyteczności modelu.
Komponenty
Preferencje ludzkie i dane bezpieczeństwa uczą model odrzucania żądań ocenianych jako szkodliwe, zamiast kodować regułę wprost.
Wg Arditi i in. (2024) ablacja kierunku wyłącza odmowy, a jego wzmocnienie wywołuje odmowy nawet dla nieszkodliwych promptów.
Ewolucja
RLHF uczy asystenta odmawiać żądań szkodliwych — podstawa odmowy jako wyuczonego zachowania (Bai i in., Anthropic).
Benchmark 250 bezpiecznych i 200 niebezpiecznych promptów ujawniający systematyczne nadmierne odmowy (NAACL 2024).
Arditi i in. pokazują refusal direction w strumieniu rezydualnym i biały jailbreak wyłączający odmowy.
Pierwszy wielkoskalowy benchmark over-refusal (~80 tys. promptów), zmierzony na 32 modelach z 8 rodzin (ICML 2025).