AI Kill Switch
Jak działa
Kill switch łączy warstwę wyzwalającą i warstwę bezpieczeństwa: (1) warunki wyzwolenia — ręczny przycisk operatora lub automatyczne tripwires wykrywające anomalie; (2) kanał zatrzymania — niezawodna, trudna do zablokowania przez system ścieżka wysłania sygnału stop; (3) stan bezpieczny (fail-safe) — po zatrzymaniu system przechodzi do zdefiniowanego, bezpiecznego stanu domyślnego; (4) bezpieczna przerywalność — funkcja nagrody/architektura agenta zaprojektowana tak, by przerwanie nie zmieniało jego oczekiwanej użyteczności, więc agent nie uczy się mu zapobiegać. W systemach rozproszonych wymaga to koordynacji wielu węzłów i zabezpieczeń przed samoreplikacją.
Rozwiązany problem
Jak zagwarantować, że ludzie zachowają możliwość natychmiastowego zatrzymania systemu AI, który zaczyna działać niebezpiecznie — i to bez tworzenia u agenta bodźca do unikania wyłączenia lub oszukiwania nadzorcy?
Komponenty
Ręczny przycisk operatora lub automatyczne detektory anomalii inicjujące wyłączenie.
Niezawodna ścieżka dostarczenia sygnału stop, odporna na blokowanie przez system.
Zdefiniowany, bezpieczny stan domyślny, do którego system przechodzi po zatrzymaniu.
Projekt agenta, w którym przerwanie nie wpływa na jego oczekiwaną użyteczność, więc nie uczy się mu zapobiegać.
Implementacja
Agent optymalizujący nagrodę może nauczyć się blokować, ukrywać lub sabotować wyłącznik, bo przerwanie obniża jego wynik.
W systemach rozproszonych lub zdolnych do kopiowania się skoordynowane wyłączenie bywa niewykonalne.
Ewolucja
Orseau (DeepMind) i Armstrong (FHI) formalizują bezpieczną przerywalność, tak by agent uczący się przez wzmacnianie nie unikał wyłączenia przez operatora.
DeepMind publikuje zestaw środowisk testowych obejmujących problem bezpiecznej przerywalności ('safe interruptibility').
Na szczycie w Seulu czołowi twórcy AI zobowiązują się do ram bezpieczeństwa z progami, po przekroczeniu których rozwój lub wdrożenie modelu zostaje wstrzymane.
Unijny AI Act wymaga dla systemów wysokiego ryzyka nadzoru ludzkiego i możliwości interwencji lub zatrzymania systemu.