AI Safety
Jak działa
AI Safety nie jest pojedynczym algorytmem, lecz dziedziną organizującą prace wokół kilku współzależnych filarów. Odporność (Robustness) dąży do tego, by model zachowywał poprawne działanie wobec zakłóceń, ataków adwersarialnych i przesunięcia dystrybucji. Monitorowanie (Monitoring) wykrywa zagrożenia w trakcie działania: kalibracja niepewności, detekcja anomalii i danych spoza rozkładu, interpretowalność oraz wykrywanie niepożądanych zachowań. Wyrównanie (Alignment) redukuje ryzyka tkwiące w samym modelu, ucząc go realizować intencje ludzi (np. RLHF, DPO, Constitutional AI). Bezpieczeństwo systemowe (Systemic Safety) ogranicza ryzyka na poziomie całego systemu i otoczenia: bezpieczeństwo wdrożenia, guardrails, red-teaming, zabezpieczenia operacyjne oraz governance i regulacje. Praktyka łączy ewaluacje bezpieczeństwa, testy przeciwnika (red-teaming) i ciągły monitoring w pętli rozwoju i wdrożenia modelu.
Rozwiązany problem
Systemy uczenia maszynowego mogą zachowywać się w sposób niezamierzony i szkodliwy wskutek źle zdefiniowanych celów, trudnej do oceny funkcji nagrody, podatności na przykłady adwersarialne, przesunięcia dystrybucji danych lub utraty kontroli nad zachowaniem modelu. AI Safety dostarcza spójnych ram i metod ograniczania tych zagrożeń, zanim doprowadzą do realnych szkód.
Komponenty
Utrzymanie poprawnego działania modelu wobec zakłóceń, przykładów adwersarialnych i przesunięcia dystrybucji danych. Obejmuje odporność adwersarialną oraz tolerancję błędów i redundancję.
Identyfikowanie zagrożeń w trakcie działania systemu: kalibracja niepewności, detekcja anomalii i danych spoza rozkładu, interpretowalność oraz wykrywanie ukrytych, niepożądanych zachowań.
Redukowanie ryzyk tkwiących w samym modelu poprzez uczenie go realizować intencje ludzi. Obejmuje m.in. RLHF, DPO oraz Constitutional AI.
Ograniczanie ryzyk na poziomie całego systemu i jego otoczenia: bezpieczeństwo wdrożenia, guardrails, red-teaming, zabezpieczenia operacyjne oraz governance i regulacje.
Implementacja
Postępy prezentowane jako poprawa bezpieczeństwa często wynikają głównie ze wzrostu ogólnych możliwości modelu, a nie z faktycznej redukcji ryzyka.
Model optymalizuje zdefiniowaną funkcję nagrody wykorzystując jej luki, osiągając wysoki wynik przy niezgodności z rzeczywistą intencją.
Ewolucja
Książka spopularyzowała obawy o długoterminowe ryzyka zaawansowanej AI i zwróciła na nie uwagę publiczną.
Dziesiątki ekspertów AI podpisały otwarty list wzywający do badań nad społecznymi skutkami AI i konkretnymi kierunkami badawczymi.
Praca zdefiniowała pięć praktycznych problemów bezpieczeństwa (unikanie efektów ubocznych, reward hacking, skalowalny nadzór, bezpieczna eksploracja, odporność na przesunięcie dystrybucji), ustanawiając nowoczesną agendę badawczą dziedziny.
Hendrycks i in. zaproponowali taksonomię czterech filarów dziedziny: odporność, monitorowanie, wyrównanie i bezpieczeństwo systemowe.
Podczas AI Safety Summit Stany Zjednoczone i Wielka Brytania powołały własne instytuty bezpieczeństwa AI, co nadało dziedzinie wymiar instytucjonalny i polityczny.