Gray Swan IPI
Jak działa
Weryfikowalny ogólny mechanizm: benchmark poddaje model lub agenta scenariuszom, w których w pobieranych treściach zewnętrznych umieszczone są ukryte, wrogie instrukcje, a następnie sprawdza, czy system je wykona, czy zignoruje i pozostanie przy pierwotnym zadaniu użytkownika. Wynik odzwierciedla odsetek skutecznie odpartych (lub udanych) prób. Dokładny protokół, zbiór zadań i sposób liczenia punktów nie zostały potwierdzone z pierwotnych źródeł w tym opracowaniu i nie są tu podawane.
Rozwiązany problem
Daje laboratoriom i zespołom bezpieczeństwa powtarzalny, zewnętrzny sposób pomiaru odporności modeli i agentów na pośrednie wstrzykiwanie instrukcji — klasę ataków trudną do wykrycia zwykłymi testami, bo ładunek pochodzi z zaufanych na pozór treści zewnętrznych.