garak

garak (Generative AI Red-teaming and Assessment Kit) to otwarty skaner podatnosci duzych modeli jezykowych, okreslany jako 'the LLM vulnerability scanner'. Projekt zapoczatkowal Leon Derczynski, a obecnie rozwijany jest przez NVIDIA na licencji Apache 2.0. Napisany w Pythonie, sluzy do automatycznego, systematycznego testowania bezpieczenstwa modeli i aplikacji AI.

garak probuje model zestawem tzw. proberow generujacych rozne ataki i slabosci - m.in. jailbreaki, prompt injection, wyciek danych treningowych, generowanie toksycznych tresci, halucynacje, podatnosci na zakodowane polecenia i inne. Odpowiedzi modelu sa oceniane przez detektory, a wynik to raport podatnosci i wskaznikow odpornosci. Narzedzie obsluguje wiele backendow (m.in. Hugging Face, OpenAI, modele lokalne).

garak jest wykorzystywany do red teamingu AI, oceny bezpieczenstwa modeli przed wdrozeniem oraz sledzenia postepu w odpornosci na ataki. Ma okolo 8,7 tys. gwiazdek na GitHubie i jest jednym z popularniejszych otwartych narzedzi bezpieczenstwa LLM. Dostepny jako narzedzie CLI oraz biblioteka Pythona (pip).