Robocikowo>ROBOCIKOWO
Bezpieczeństwo

Refusal

2022AktywnyOpublikowano: 18 listopada 2026Aktualizacja: 18 listopada 2026Opublikowany
Zachowanie modelu AI polegające na odmowie spełnienia żądania — zwykle gdy narusza ono polityki bezpieczeństwa lub treści — wyuczone podczas treningu bezpieczeństwa.
Kluczowa innowacja
Uczynienie z odmowy wykonania żądania wyuczonego, sterowalnego zachowania modelu instalowanego treningiem bezpieczeństwa (RLHF, safety fine-tuning), zamiast twardej reguły wpisanej w kod.
Kategoria
Bezpieczeństwo
Poziom abstrakcji
Pojęcie
Poziom operacji
InferencjaPo-trening
Zastosowania
Egzekwowanie polityk bezpieczeństwa i treściBlokowanie żądań nielegalnych lub szkodliwychModeracja treści w asystentach AIOgraniczanie nadużyć (misuse)Ewaluacja bezpieczeństwa i red-teaming

Jak działa

Odmowa jest instalowana w fazie po-treningu (post-training): preferencje ludzkie uczą model odrzucania żądań ocenianych jako szkodliwe (RLHF — Bai i in., 2022), co uzupełniają safety fine-tuning oraz metody oparte na zasadach (Constitutional AI). W trakcie inferencji model rozpoznaje żądanie jako naruszające politykę i generuje odpowiedź-odmowę zamiast treści merytorycznej. Analiza mechanistyczna (Arditi i in., 2024) na 13 otwartych modelach o rozmiarze do 72 mld parametrów pokazała, że zachowanie to jest reprezentowane przez pojedynczy kierunek w strumieniu rezydualnym (refusal direction): ablacja tego kierunku usuwa odmowy, a jego dodanie wywołuje odmowy nawet dla nieszkodliwych promptów. Sufiksy adwersarialne stosowane w jailbreakach tłumią ten kierunek, co autorzy interpretują jako dowód kruchości obecnego treningu bezpieczeństwa.

Rozwiązany problem

Pozwala modelowi nie wykonywać żądań szkodliwych, niebezpiecznych lub naruszających polityki — bez twardego, regułowego filtrowania wejścia — ograniczając nadużycia i potencjalne szkody przy zachowaniu ogólnej użyteczności modelu.

Komponenty

Sygnał treningu bezpieczeństwaInstaluje zachowanie odmowy w fazie po-treningu (RLHF, safety fine-tuning, Constitutional AI).

Preferencje ludzkie i dane bezpieczeństwa uczą model odrzucania żądań ocenianych jako szkodliwe, zamiast kodować regułę wprost.

Kierunek odmowy (refusal direction)Mechanistyczna reprezentacja odmowy — pojedynczy kierunek w strumieniu rezydualnym sterujący tym zachowaniem.

Wg Arditi i in. (2024) ablacja kierunku wyłącza odmowy, a jego wzmocnienie wywołuje odmowy nawet dla nieszkodliwych promptów.

Ewolucja

2022
Pomocny i nieszkodliwy asystent trenowany z RLHF
Punkt przełomowy

RLHF uczy asystenta odmawiać żądań szkodliwych — podstawa odmowy jako wyuczonego zachowania (Bai i in., Anthropic).

2023
XSTest: rozpoznanie nadmiernych odmów (over-refusal)
Punkt przełomowy

Benchmark 250 bezpiecznych i 200 niebezpiecznych promptów ujawniający systematyczne nadmierne odmowy (NAACL 2024).

2024
Odmowa sterowana pojedynczym kierunkiem
Punkt przełomowy

Arditi i in. pokazują refusal direction w strumieniu rezydualnym i biały jailbreak wyłączający odmowy.

2024
OR-Bench: wielkoskalowy benchmark nadmiernych odmów

Pierwszy wielkoskalowy benchmark over-refusal (~80 tys. promptów), zmierzony na 32 modelach z 8 rodzin (ICML 2025).