Robocikowo>ROBOCIKOWO
Ocena jakości

Gray Swan IPI

AktywnyOpublikowano: 18 listopada 2026Aktualizacja: 18 listopada 2026Opublikowany
Benchmark bezpieczeństwa od firmy Gray Swan AI oceniający odporność modeli i agentów AI na pośrednie wstrzykiwanie instrukcji (indirect prompt injection); jego wynik bywa raportowany jako metryka w kartach systemowych/bezpieczeństwa modeli (m.in. Gemini).
Kluczowa innowacja
Wyspecjalizowany, adwersaryjny benchmark mierzący odporność modeli i agentów AI właśnie na pośrednie wstrzykiwanie instrukcji (indirect prompt injection), a nie na wprost wpisywane polecenia użytkownika — dostarczany jako zewnętrzna, przedpremierowa ocena bezpieczeństwa przez wyspecjalizowaną firmę red-teamingową.
Kategoria
Ocena jakości
Poziom abstrakcji
System
Poziom operacji
Środowisko agentoweSystem
Zastosowania
Przedpremierowa ocena bezpieczeństwa modeli przez czołowe laboratoria AIRaportowanie odporności na IPI jako metryki w kartach systemowych/bezpieczeństwa modeli (m.in. Gemini)Porównywanie modeli i agentów pod kątem podatności na pośrednie wstrzykiwanie instrukcjiWsparcie red-teamingu i hardeningu agentów korzystających z narzędzi i treści zewnętrznych

Jak działa

Weryfikowalny ogólny mechanizm: benchmark poddaje model lub agenta scenariuszom, w których w pobieranych treściach zewnętrznych umieszczone są ukryte, wrogie instrukcje, a następnie sprawdza, czy system je wykona, czy zignoruje i pozostanie przy pierwotnym zadaniu użytkownika. Wynik odzwierciedla odsetek skutecznie odpartych (lub udanych) prób. Dokładny protokół, zbiór zadań i sposób liczenia punktów nie zostały potwierdzone z pierwotnych źródeł w tym opracowaniu i nie są tu podawane.

Rozwiązany problem

Daje laboratoriom i zespołom bezpieczeństwa powtarzalny, zewnętrzny sposób pomiaru odporności modeli i agentów na pośrednie wstrzykiwanie instrukcji — klasę ataków trudną do wykrycia zwykłymi testami, bo ładunek pochodzi z zaufanych na pozór treści zewnętrznych.