System Card
Jak działa
System Card jest ustrukturyzowanym raportem publikowanym zwykle przy wydaniu modelu lub systemu. Typowo zawiera: (1) ogólny opis modelu i systemu wraz z kontekstem wdrożenia; (2) możliwości i ograniczenia; (3) oceny bezpieczeństwa w kategoriach ryzyka, często w ramach formalnych procesów (np. Preparedness Framework w OpenAI czy Responsible Scaling Policy w Anthropic); (4) zewnętrzny red-teaming i zaangażowanie ekspertów (w GPT-4 System Card ponad 50 ekspertów); (5) opis zidentyfikowanych ryzyk; (6) mitygacje na poziomie modelu (np. trening bezpieczeństwa, RLHF) oraz na poziomie produktu i systemu (polityki, kontrola dostępu, monitoring); (7) ryzyka resztkowe i decyzję o wdrożeniu. Dokument jest opisowy — nie modyfikuje systemu, lecz dokumentuje jego zachowanie i proces zapewnienia bezpieczeństwa.
Rozwiązany problem
Model Card dokumentuje charakterystykę pojedynczego modelu, ale wdrożony system AI zawiera także komponenty spoza modelu — polityki użycia, kontrolę dostępu, moderację, narzędzia i monitoring — których zachowania i ryzyk sama karta modelu nie ujmuje. System Card odpowiada na potrzebę przejrzystości i rozliczalności na poziomie całego systemu, w tym mitygacji i ryzyk resztkowych pojawiających się dopiero po wdrożeniu.
Komponenty
Zakres dokumentu oraz opis modelu i systemu wokół niego (komponenty spoza modelu, kontekst wdrożenia).
Co system potrafi i gdzie zawodzi, w tym zdolności podwójnego przeznaczenia.
Wyniki testów bezpieczeństwa w kategoriach ryzyka, często w ramach Preparedness Framework lub Responsible Scaling Policy.
Zaangażowanie zewnętrznych ekspertów do adwersarialnego testowania systemu przed wdrożeniem.
Zidentyfikowane ryzyka: bio-, cyber-, perswazja, prywatność, dezinformacja i inne.
Mitygacje na poziomie modelu (trening bezpieczeństwa, RLHF) oraz systemu (polityki, kontrola dostępu, monitoring).
Ryzyka pozostające po mitygacjach oraz uzasadnienie decyzji o wdrożeniu.
Implementacja
System cards są dobrowolne i publikowane przez samego dostawcę; zakres bywa celowo zawężany (np. GPT-4 System Card jawnie wyłączył zdolności obrazowe i fine-tuning), co ogranicza pełność obrazu.
Nie istnieje jednolity standard; różni dostawcy raportują różne kategorie ryzyk i metryki, co utrudnia porównywalność między systemami.
Ewolucja
Wprowadzenie karty raportowania modelu — fundament, który System Card rozszerza na poziom systemu.
Popularyzuje termin „system card”; analiza na poziomie systemu wraz z mitygacjami spoza modelu i red-teamingiem (ponad 50 ekspertów).
System card dla modelu multimodalnego; oceny w ramach Preparedness Framework oraz zewnętrzne oceny niebezpiecznych zdolności.
Oceny bezpieczeństwa modelu rozumującego, zewnętrzny red-teaming, Preparedness Framework oraz deliberative alignment.
Anthropic publikuje system cards dla modeli Claude wraz z ocenami w ramach Responsible Scaling Policy i red-teamingiem.