security-privacy
Instruction Hierarchy
Zasada porządkowania poleceń według priorytetu (system > deweloper > użytkownik > treść/narzędzia), ucząca model ufać instrukcjom wyższego poziomu i odrzucać sprzeczne polecenia niższego — obrona przed prompt injection.
Kategoria
security-privacy
Poziom abstrakcji
Wzorzec
Poziom operacji
InferencjaPo-trening
Zastosowania
Obrona przed prompt injection w agentachBezpieczne przetwarzanie treści zewnętrznych (RAG, przeglądanie sieci)Egzekwowanie polityk deweloperskich nad poleceniami użytkownika
Jak działa
Modelowi przekazuje się polecenia z oznaczeniem poziomu (system/deweloper/użytkownik/treść). W fazie dostrajania uczy się rozpoznawać konflikty i rozstrzygać je na korzyść wyższego poziomu, odmawiając wykonania sprzecznych instrukcji z treści niższego zaufania.
Rozwiązany problem
Jak sprawić, by model nie dał się zmanipulować poleceniom ukrytym w treściach niższego zaufania (np. w stronie WWW odczytanej przez narzędzie)?
Mocne strony i ograniczenia
Mocne strony
✓Zmniejsza podatność na prompt injection i jailbreak
✓Jasny, uzasadniony model zaufania poleceń
✓Wspiera bezpieczne działanie agentów na danych zewnętrznych
Ograniczenia
✗Nie eliminuje całkowicie ataków
✗Wymaga spójnego oznaczania poziomów poleceń
✗Może czasem odrzucać uzasadnione polecenia użytkownika