Robocikowo>ROBOCIKOWO
Bezpieczeństwo

Safety Classifier

2022AktywnyOpublikowano: 18 listopada 2026Aktualizacja: 18 listopada 2026Opublikowany
Pomocniczy model (często osobny od głównego LLM) oceniający wejścia i wyjścia pod kątem szkodliwych treści, naruszeń polityk i prób jailbreaku; podstawa guardrails i moderacji.
Kluczowa innowacja
Wydzielenie oceny bezpieczeństwa treści do osobnego, wyspecjalizowanego klasyfikatora działającego obok głównego modelu, zamiast polegania wyłącznie na dostrojeniu samego modelu (RLHF/alignment).
Kategoria
Bezpieczeństwo
Poziom abstrakcji
Technika
Poziom operacji
InferencjaSystemOperacje bezpieczeństwa
Zastosowania
Moderacja treści generowanych przez LLMFiltrowanie wejść użytkownika (skanowanie promptów)Filtrowanie wyjść modeluWykrywanie prób jailbreak i prompt injectionGuardrails w aplikacjach i agentach AIEgzekwowanie polityk bezpieczeństwa i zgodności

Jak działa

1) Definiuje się taksonomię ryzyka (kategorie: przemoc, treści seksualne, nienawiść, samookaleczenia, działania nielegalne itp.) oraz polityki. 2) Trenuje się klasyfikator — od lekkich modeli na embeddingach po dostrojone LLM (np. Llama Guard na Llama 2, ShieldGemma na Gemma 2) — na danych oznaczonych względem tej taksonomii, często z udziałem danych syntetycznych i aktywnego uczenia. 3) W czasie działania klasyfikator ocenia wejście użytkownika (klasyfikacja promptu) i/lub wyjście modelu (klasyfikacja odpowiedzi), zwracając etykietę bezpieczne/niebezpieczne, kategorie oraz wynik liczbowy. 4) Na podstawie progu decyzyjnego warstwa orkiestracji blokuje, przepuszcza, redaguje lub eskaluje treść. Klasyfikator jest wywoływany jako osobny krok w potoku, dlatego można go podmieniać i aktualizować bez zmiany modelu głównego.

Rozwiązany problem

Dostrojenie samego LLM (np. RLHF) nie gwarantuje odrzucenia wszystkich szkodliwych żądań ani bezpieczeństwa każdej wygenerowanej odpowiedzi, a modyfikacja zachowania modelu jest kosztowna i wolna. Potrzebna jest szybka, aktualizowalna i audytowalna warstwa, która niezależnie filtruje szkodliwe wejścia i wyjścia oraz wychwytuje jailbreaki, nie wymagając przeuczenia modelu głównego.

Komponenty

Taksonomia i polityki bezpieczeństwaDefiniuje kategorie ryzyka i zasady, względem których oceniana jest treść.

Ustrukturyzowany zbiór kategorii szkodliwych treści (np. przemoc, nienawiść, samookaleczenia) i reguł decyzyjnych.

Oficjalna

Model klasyfikatoraPrzewiduje etykietę bezpieczeństwa dla ocenianej treści.

Model od lekkiego klasyfikatora na embeddingach po dostrojony LLM-guard (np. Llama Guard 7B, ShieldGemma 2B/9B).

Oficjalna

Etap skanowania wejścia/wyjściaPunkt w potoku: ocena wejścia przed modelem i/lub wyjścia po modelu.

Wywołanie klasyfikatora przed i po generacji modelu głównego.

Próg decyzyjny i egzekwowanie politykiMapuje wynik klasyfikatora na akcję: blokuj / przepuść / redaguj / eskaluj.

Logika progowania i egzekwowania decyzji na podstawie wyniku i kategorii.

Oficjalna

Implementacja

Pułapki implementacyjne
Dodatkowe opóźnienie i kosztŚrednia

Każde żądanie wymaga dodatkowego przebiegu klasyfikatora (często dwóch: wejście i wyjście), co zwiększa latencję i koszt.

Rozwiązanie:Mniejszy/destylowany klasyfikator, batching, asynchroniczna ocena wyjścia, strumieniowanie z przerwaniem.
Nadmierne odrzucanie (false positives)Wysoka

Zbyt agresywny próg lub taksonomia prowadzi do blokowania bezpiecznych treści i pogarsza użyteczność.

Rozwiązanie:Kalibracja progu, ewaluacja na zbiorach kontrolnych, rozdzielenie kategorii, testy regresji.
Rozbieżność taksonomii z polityką produktuŚrednia

Klasyfikator wytrenowany na innej taksonomii może nie odpowiadać polityce bezpieczeństwa produktu.

Rozwiązanie:Dostrojenie do własnej taksonomii lub użycie modeli z konfigurowalną taksonomią (np. Llama Guard).
Omijanie samego klasyfikatoraWysoka

Adversarialne wejścia (jailbreaki, obfuskacja) mogą ominąć klasyfikator, tak jak omijają model główny.

Rozwiązanie:Trening adversarialny, red-teaming, dane syntetyczne, podejścia typu constitutional classifiers.
Luki językowe i dziedzinoweŚrednia

Trafność spada dla języków i dziedzin słabo reprezentowanych w danych treningowych.

Rozwiązanie:Rozszerzenie danych o brakujące języki/dziedziny, monitoring trafności w produkcji.

Ewolucja

Oryginalny paper · 2022 · AAAI 2023 · Todor Markov
A Holistic Approach to Undesired Content Detection in the Real World
Todor Markov, Chong Zhang, Sandhini Agarwal, Lilian Weng
2022
OpenAI — klasyfikator do wykrywania niepożądanych treści (podstawa Moderation API)
Punkt przełomowy

Praca „A Holistic Approach to Undesired Content Detection" formalizuje budowę dedykowanego klasyfikatora moderacji.

2023
Llama Guard — klasyfikator bezpieczeństwa wejścia/wyjścia oparty na LLM
Punkt przełomowy

Meta wypuszcza Llama Guard (na Llama 2-7B) z konfigurowalną taksonomią ryzyka i osobną klasyfikacją promptu oraz odpowiedzi.

2024
ShieldGemma — rodzina klasyfikatorów moderacji oparta na Gemma 2

Google publikuje zestaw klasyfikatorów (2B/9B/27B) oceniających prompty i odpowiedzi w czterech kategoriach szkód.

2025
Anthropic — constitutional classifiers broniące przed uniwersalnymi jailbreakami
Punkt przełomowy

Klasyfikatory trenowane na danych syntetycznych generowanych z konstytucji; raportowany ~23,7% narzut inferencji i +0,38% odrzuceń na ruchu produkcyjnym.

Hiperparametry (konfigurowalne osie)

Taksonomia bezpieczeństwaKrytyczna

Zbiór kategorii ryzyka, które klasyfikator rozpoznaje; część modeli pozwala ją dostosować (zero/few-shot).

Próg decyzyjnyWysoka

Punkt odcięcia wyniku, od którego treść jest blokowana — kompromis między false positives a false negatives.

Zakres skanowania (wejście/wyjście)Wysoka

Czy oceniane jest tylko wejście, tylko wyjście, czy oba.

Rozmiar klasyfikatora / budżet opóźnieńŚrednia

Wybór między lekkim klasyfikatorem (niska latencja) a dużym LLM-guardem (wyższa trafność).

Złożoność obliczeniowa

Paradygmat wykonania

Tryb główny
Gęsty

Typowy klasyfikator wykonuje gęsty przebieg (wszystkie parametry aktywne) dla każdej ocenianej treści.

Wzorzec aktywacji
Wszystkie ścieżki aktywne

Równoległość

Poziom równoległości
Częściowo równoległy

Sam klasyfikator to standardowy przebieg inferencji (zrównoleglany wewnętrznie i między żądaniami), ale jako osobny etap potoku dodaje sekwencyjne opóźnienie przed/po generacji modelu głównego.

Zakres
Inferencja

Wymagania sprzętowe

Podstawowe

Dostrojone klasyfikatory oparte na LLM (Llama Guard, ShieldGemma) to standardowa inferencja Transformera, przyspieszana przez rdzenie tensorowe.

Możliwe

Lekkie klasyfikatory (np. na embeddingach lub małe modele) mogą działać na CPU przy akceptowalnej latencji.