Robocikowo>ROBOCIKOWO
Bezpieczeństwo

Filtrowanie promptów

AktywnyOpublikowano: 9 listopada 2026Aktualizacja: 9 listopada 2026Opublikowany
Mechanizm bezpieczeństwa analizujący i blokujący lub modyfikujący wejściowe zapytania użytkownika, zanim trafią do modelu AI.
Kluczowa innowacja
Przeniesienie moderacji treści z wyjścia modelu na wejście — ryzykowny lub niedozwolony prompt jest wykrywany i blokowany, zanim w ogóle trafi do modelu generatywnego.
Kategoria
Bezpieczeństwo
Poziom abstrakcji
Technika
Poziom operacji
InferencjaUdostępnianieAplikacja
Zastosowania
Moderacja wejścia w asystentach konwersacyjnychObrona przed jailbreakami i prompt injectionOchrona praw autorskich w generatorach muzyki i obrazuBlokowanie promptów naruszających wizerunek i podobieństwo osóbEgzekwowanie polityki treści w produktach generatywnychFiltrowanie treści niebezpiecznych (przemoc, samookaleczenie, treści dla dorosłych)

Jak działa

Przychodzący prompt przechodzi przez warstwę filtrującą ustawioną przed modelem. Warstwa klasyfikuje treść wejścia: dopasowuje wzorce i słowa z list blokujących, uruchamia klasyfikator bezpieczeństwa zwracający kategorie ryzyka (np. przemoc, treści seksualne, nienawiść, samookaleczenie), lub odpytuje osobny model-sędzia o zgodność z polityką. Na podstawie wyniku i progów decyzyjnych prompt zostaje przepuszczony bez zmian, przepisany/oczyszczony, oflagowany do przeglądu lub całkowicie odrzucony z komunikatem o odmowie. Dopiero przepuszczone zapytanie trafia do modelu generatywnego.

Rozwiązany problem

Modele generatywne same w sobie nie egzekwują polityki treści ani prawa, więc wrogi lub nieświadomy użytkownik może je skłonić do wygenerowania treści szkodliwych, nielegalnych lub naruszających prawa osób trzecich. Filtrowanie promptów rozwiązuje ten problem na najwcześniejszym etapie — zatrzymuje ryzykowne wejście, zanim model wykona jakąkolwiek kosztowną generację.

Komponenty

Klasyfikator bezpieczeństwaOcena ryzyka wejścia

Model klasyfikujący treść wejścia i zwracający kategorie ryzyka oraz oceny pewności.

Listy blokujące i dozwoloneDeterministyczne reguły decyzyjne

Zbiory słów, fraz i wzorców, które są zawsze blokowane lub zawsze dozwolone.

Dopasowanie wzorcówSzybkie wykrywanie znanych nadużyć

Wyrażenia regularne i heurystyki wykrywające znane struktury ataków (np. frazy jailbreakowe).

Model-sędzia (LLM-as-judge)Niuansowa ocena polityki

Osobny model językowy oceniający zgodność promptu z polityką treści w niejednoznacznych przypadkach.

Polityka treściŹródło decyzji dla filtra

Zdefiniowany zestaw reguł i kategorii określających, co jest niedozwolone i jak system reaguje.

Paradygmat wykonania

Tryb główny
Warunkowy

Decyzja (przepuść / przepisz / odrzuć) zależy warunkowo od treści konkretnego promptu.

Wzorzec aktywacji
Zależne od wejścia

Równoległość

Poziom równoległości
W pełni równoległy

Każdy prompt jest filtrowany niezależnie, więc filtrowanie zrównolegla się po zapytaniach.

Zakres
Inferencja