Bezpieczeństwo agentów AI — ataki, jailbreak i obrona · Jailbreaking — kiedy i dlaczego safety alignment zawodzi
Obrona po stronie aplikacji: self-reminder, instruction hierarchy, Constitutional AI w praktyce
Jailbreaking — kiedy i dlaczego safety alignment zawodzi
Wprowadzenie
Alignment modelu nie jest wystarczającą ochroną — producenci modeli, operatorzy aplikacji i badacze opracowali dodatkowe warstwy obrony po stronie aplikacji: self-reminder (model przypomina sobie zasady przy każdym zapytaniu), instruction hierarchy (priorytetyzacja źródeł instrukcji), Constitutional AI w praktyce deploymentu oraz kombinacje tych technik w systemach produkcyjnych. Lekcja analizuje każdą z tych technik, jej mechanizm, skuteczność i ograniczenia.