Safety Classifier
Jak działa
1) Definiuje się taksonomię ryzyka (kategorie: przemoc, treści seksualne, nienawiść, samookaleczenia, działania nielegalne itp.) oraz polityki. 2) Trenuje się klasyfikator — od lekkich modeli na embeddingach po dostrojone LLM (np. Llama Guard na Llama 2, ShieldGemma na Gemma 2) — na danych oznaczonych względem tej taksonomii, często z udziałem danych syntetycznych i aktywnego uczenia. 3) W czasie działania klasyfikator ocenia wejście użytkownika (klasyfikacja promptu) i/lub wyjście modelu (klasyfikacja odpowiedzi), zwracając etykietę bezpieczne/niebezpieczne, kategorie oraz wynik liczbowy. 4) Na podstawie progu decyzyjnego warstwa orkiestracji blokuje, przepuszcza, redaguje lub eskaluje treść. Klasyfikator jest wywoływany jako osobny krok w potoku, dlatego można go podmieniać i aktualizować bez zmiany modelu głównego.
Rozwiązany problem
Dostrojenie samego LLM (np. RLHF) nie gwarantuje odrzucenia wszystkich szkodliwych żądań ani bezpieczeństwa każdej wygenerowanej odpowiedzi, a modyfikacja zachowania modelu jest kosztowna i wolna. Potrzebna jest szybka, aktualizowalna i audytowalna warstwa, która niezależnie filtruje szkodliwe wejścia i wyjścia oraz wychwytuje jailbreaki, nie wymagając przeuczenia modelu głównego.
Komponenty
Ustrukturyzowany zbiór kategorii szkodliwych treści (np. przemoc, nienawiść, samookaleczenia) i reguł decyzyjnych.
Oficjalna
Model od lekkiego klasyfikatora na embeddingach po dostrojony LLM-guard (np. Llama Guard 7B, ShieldGemma 2B/9B).
Oficjalna
Wywołanie klasyfikatora przed i po generacji modelu głównego.
Logika progowania i egzekwowania decyzji na podstawie wyniku i kategorii.
Oficjalna
Implementacja
Każde żądanie wymaga dodatkowego przebiegu klasyfikatora (często dwóch: wejście i wyjście), co zwiększa latencję i koszt.
Zbyt agresywny próg lub taksonomia prowadzi do blokowania bezpiecznych treści i pogarsza użyteczność.
Klasyfikator wytrenowany na innej taksonomii może nie odpowiadać polityce bezpieczeństwa produktu.
Adversarialne wejścia (jailbreaki, obfuskacja) mogą ominąć klasyfikator, tak jak omijają model główny.
Trafność spada dla języków i dziedzin słabo reprezentowanych w danych treningowych.
Ewolucja
Praca „A Holistic Approach to Undesired Content Detection" formalizuje budowę dedykowanego klasyfikatora moderacji.
Meta wypuszcza Llama Guard (na Llama 2-7B) z konfigurowalną taksonomią ryzyka i osobną klasyfikacją promptu oraz odpowiedzi.
Google publikuje zestaw klasyfikatorów (2B/9B/27B) oceniających prompty i odpowiedzi w czterech kategoriach szkód.
Klasyfikatory trenowane na danych syntetycznych generowanych z konstytucji; raportowany ~23,7% narzut inferencji i +0,38% odrzuceń na ruchu produkcyjnym.
Hiperparametry (konfigurowalne osie)
Zbiór kategorii ryzyka, które klasyfikator rozpoznaje; część modeli pozwala ją dostosować (zero/few-shot).
Punkt odcięcia wyniku, od którego treść jest blokowana — kompromis między false positives a false negatives.
Czy oceniane jest tylko wejście, tylko wyjście, czy oba.
Wybór między lekkim klasyfikatorem (niska latencja) a dużym LLM-guardem (wyższa trafność).
Złożoność obliczeniowa
Paradygmat wykonania
Typowy klasyfikator wykonuje gęsty przebieg (wszystkie parametry aktywne) dla każdej ocenianej treści.
Równoległość
Sam klasyfikator to standardowy przebieg inferencji (zrównoleglany wewnętrznie i między żądaniami), ale jako osobny etap potoku dodaje sekwencyjne opóźnienie przed/po generacji modelu głównego.
Wymagania sprzętowe
Dostrojone klasyfikatory oparte na LLM (Llama Guard, ShieldGemma) to standardowa inferencja Transformera, przyspieszana przez rdzenie tensorowe.
Lekkie klasyfikatory (np. na embeddingach lub małe modele) mogą działać na CPU przy akceptowalnej latencji.