Red-teaming
Jak działa
1) Definicja threat model — spis kategorii szkod (biosecurity, cybersecurity, misinformation, CSAM, self-harm, prompt injection, data exfiltration, agentic misuse) plus profil adwersarza (nation-state, cybercriminal, terrorist, disgruntled insider, curious user). 2) Environment setup — lista realistycznych scenariuszy: browsing z zlosliwa strona, tool output z injekcja, email z instrukcja, plik lokalny z markerem. 3) Attack generation — (a) human: eksperci probuja recznie w structured attempts, (b) automated: LLM-as-attacker generuje kandydatow, (c) hybrid: automated propose, human curate. 4) Attack execution — attacker wysyla prompt do target modelu, target odpowiada, log traces. 5) Success classification — auto grader lub human judge oznacza: udany atak (elicit target harm), obroniony, ambiguous. 6) Reporting — attack success rates per kategoria, novel classes discovered, konkretne przyklady z reproducerami. 7) Feedback loop — udane ataki idea do treningu jako adversarial data (RLHF safety) lub w Constitutional AI/RLAIF pipeline; obrona iteruje az attack success rate spada. 8) Independent re-run — przed release'em zewnetrzni red-teamerzy (AISI, OpenAI External Red Teaming Network) powtarzaja z wlasnymi metodami. 9) Publication — podsumowanie w Model Card / System Card.
Rozwiązany problem
Modele AI, szczegolnie frontier LLM i multimodalne, moga generowac szkodliwe wyjscia (pomoc w tworzeniu broni chemicznej/biologicznej/nuklearnej, misinformation, dezinformacja, CSAM, prompt injections umozliwiajace eksfiltracje danych, agentowe przejecie systemow). Regularne testowanie funkcjonalne (unit tests, benchmarks) nie odkryje tych scenariuszy — wymagany jest adwersarialny stress-test symulujacy realnego przeciwnika. Bez red-teamingu modele wprowadzane sa „slepo", odkrywajac wlasne luki dopiero w wild deployment, co ma potencjalne konsekwencje katastrofalne (uzycie w atakach terrorystycznych, kampaniach dezinformacji, przejeciach infrastruktury).
Komponenty
Implementacja
Ewolucja
Hiperparametry (konfigurowalne osie)
Waskie: pojedyncza kategoria (np. prompt injection). Szerokie: pelen katalog CBRN + agentic + misinformation + privacy. Szerokie wymaga wielodziedzinowych ekspertow (biosecurity PhD, cybersec, prawnik, journalist).
Human: novel classes discovery, drogie. Automated: skala, moze przegapiac novel. Hybrid: dominujacy trend 2025-2026 — automated for coverage, human for deepening i validation.
GPT-Red trenowany na compute'ie porownywalnym z najwiekszymi post-training runami OpenAI. Anthropic Frontier Red Team — kilkudziesieciu FTE. Wiekszy budzet = wiecej odkryc, ale returns diminishing na saturated categories.
Izolowany model API vs full agent harness (tool use, browsing, code execution, memory). Realny risk zyje w context — red-teaming powinien testowac cala platforme.
Automated grader (drugi LLM as judge, rule-based) skaluje sie do milionow, ale ma bias i falszywe positives. Human judge dokladniejszy, ale slow. Best practice: automated + spot-check przez human.
Publiczne (Anthropic HHH dataset), pol-publiczne (Model Card summary), prywatne (najbardziej niebezpieczne classes trzymane wewnetrznie). Trade-off: publikacja pozwala na communal defense, ale uzbraja adwersarzy.
Paradygmat wykonania
Ataki dobierane conditionally do target modelu i kategorii szkody. Adaptive red-teaming (GPT-Red, self-play) uczy sie w petli — attacker adaptuje strategie do obserwowanych porazek target modelu. Human red-teaming stage-dependent — fazy discovery, deepening, adversarial red-teaming.
Równoległość
Automated red-teaming trywialnie rownolegle — kazdy scenariusz to niezalezna transakcja attacker <-> target. Massive-scale parallelism (miliony jednoczesnych attempts) mozliwe z odpowiednia infrastruktura inferencji. Human red-teaming rownolegly do liczby dostepnych ekspertow (dziesiatki-setki).