Bezpieczeństwo

Safety-Critical Autonomous Systems (SCAS)

2001AktywnyOpublikowano: 16 czerwca 2026Aktualizacja: 16 czerwca 2026Opublikowany

Paradygmat inżynierski projektowania systemów autonomicznych, w których awaria może spowodować zagrożenie życia, zdrowia lub mienia. Łączy AI/ML z funkcjonalnym bezpieczeństwem, redundancją, monitoringiem runtime i certyfikacją.

Kluczowa innowacja

Integracja klasycznej inżynierii bezpieczeństwa funkcjonalnego (ISO 26262, DO-178C, IEC 61508) z systemami AI, w których brak deterministycznego zachowania i pełnej dowodliwości wymaga nowych metod walidacji, monitoringu runtime i bezpiecznych mechanizmów awaryjnych.

Kategoria

Bezpieczeństwo

Poziom abstrakcji

Paradygmat

Poziom operacji

SystemSterowanie robotemWdrożenieEwaluacja (runtime)

Zastosowania

Autonomiczne pojazdy poziomu 3+ (Waymo, Cruise, Mobileye)Bezzałogowe statki powietrzne i drony (UAV) w przestrzeni publicznejRoboty chirurgiczne (da Vinci) i autonomiczne urządzenia medyczneRoboty współpracujące w przemyśle (cobots) i zautomatyzowane linie produkcyjneSystemy bezpieczeństwa kolei (ETCS, automatyczna jazda metrem)Autonomiczne systemy obronne i broń (LAWS, „human-in-the-loop")Roboty humanoidalne pracujące w pobliżu ludzi (Apptronik, Figure, Optimus)

Jak działa

Architektura SCAS jest wielowarstwowa. (1) Warstwa percepcji: redundantne, zróżnicowane sensory (kamery RGB, LiDAR, radar, IMU) — żadna pojedyncza modalność nie jest punktem krytycznym. (2) Warstwa AI/ML: główny stos decyzyjny (planner, perception, prediction) używa modeli głębokich, ale jego wyjścia są zawsze obserwowane. (3) Warstwa monitorowania runtime: detektory OOD, monitory niepewności (epistemic + aleatoric), statistical model checking, sprawdzanie predykatów bezpieczeństwa (np. „prędkość < limitu", „dystans > minimum"). (4) Bezpieczna warstwa nadrzędna (safety cage / simplex): deterministyczny kontroler awaryjny, który może przejąć sterowanie, jeśli AI zachowuje się anomalnie lub wchodzi w stan niezdefiniowany — np. zatrzymanie pojazdu, przejście w tryb ręczny pilota, alarm operatora. (5) Walidacja: kombinacja klasycznych metod (testy w pętli HIL, miliony km/godzin testów polowych) z nowymi technikami specyficznymi dla AI (adversarial testing, scenario-based testing, fuzz testing, formal verification krytycznych komponentów). (6) Certyfikacja: dokumentacja ścieżki dowodowej zgodnej z normami branżowymi i nowymi (ISO 21448 SOTIF, ISO 8800, EU AI Act Annex III).

Rozwiązany problem

Klasyczne metody bezpieczeństwa funkcjonalnego nie są bezpośrednio stosowalne do systemów AI: nie można udowodnić poprawności wag sieci neuronowej, nie ma deterministycznych granic błędu, a behawior na wejściach OOD jest nieprzewidywalny. SCAS rozwiązuje problem: jak wprowadzić AI w systemy, których awaria może zabić ludzi, zachowując poziom rygoru wymagany przez normy i regulatorów.

Komponenty

Safety cage / Simplex architectureOstatnia linia obrony — gwarantuje, że system pozostanie w stanie bezpiecznym nawet przy nieprzewidzianym zachowaniu AI.

Deterministyczny kontroler nadrzędny, który nadzoruje wyjścia AI i może przejąć sterowanie w sytuacji wykroczenia poza envelope bezpieczeństwa. Architektura simplex (Sha 2001) — prosty, dowiedlnie poprawny kontroler ratunkowy obok złożonego, ale niedeterministycznego kontrolera AI.

Runtime monitoringMost między AI a klasyczną inżynierią bezpieczeństwa — tłumaczy „dziwne zachowanie modelu" na deterministyczne sygnały.

Ciągłe sprawdzanie predykatów bezpieczeństwa, niepewności epistemicznej, dystrybucji wejść (OOD detection) i zgodności wyjść z modelem nominalnym. Generuje sygnały eskalacji do warstwy nadrzędnej.

Oficjalna

Redundancy and diversityZwiększa MTBF (mean time between failures) i wykrywa błędy systematyczne (common-cause failures).

Wiele niezależnych stosów decyzyjnych (np. dwa systemy planowania zbudowane na różnych modelach), zróżnicowane sensory i niezależne ścieżki wykonawcze (actuator). Eliminuje pojedyncze punkty awarii (SPOF).

Oficjalna

Formal verification of safety predicatesTwardy fundament dowodowy dla certyfikacji.

Dowiedlnie poprawne sprawdzenie kluczowych własności bezpieczeństwa (np. „auto nigdy nie wjeżdża w skrzyżowanie przy czerwonym świetle") za pomocą model checking, SMT solverów lub theorem provers. Stosowane do warstw deterministycznych, nie do samej sieci.

Oficjalna

Certification & standards complianceWarunek konieczny wprowadzenia produktu na rynek w regulowanych domenach.

Zgodność z normami branżowymi: ISO 26262 (ASIL A–D), ISO 21448 (SOTIF — bezpieczeństwo zamierzonej funkcjonalności), ISO 8800 (AI w motoryzacji), DO-178C / DO-254 (lotnictwo), IEC 61508 (SIL 1–4 w przemyśle), IEC 62304 (medycyna). Plus EU AI Act dla systemów wysokiego ryzyka.

Implementacja

Pułapki implementacyjne

Distribution shift na deploymentKrytyczna

Środowisko produkcyjne zawiera scenariusze których nie było w treningu (rzadka pogoda, nietypowe sytuacje na drodze, sensory zabrudzone błotem). AI traci pewność lub generuje błędne predykcje.

Rozwiązanie:OOD detection, data augmentation, scenario-based testing, ciągłe monitorowanie skuteczności, szybki retraining cycle, mechanizmy konserwatywnego fallbacku.

Common-cause failures w redundancjiWysoka

Dwa „niezależne" stosy decyzyjne mogą zawieść równocześnie z tej samej przyczyny — np. oba używają tej samej biblioteki, tych samych danych treningowych lub tej samej sieci.

Rozwiązanie:Wymuszanie różnorodności (diverse implementation): różne języki, różne architektury, różne datasety. Audyty redundancji.

Niewystarczające dane edge caseWysoka

Najgroźniejsze scenariusze (wypadki, ekstremalne warunki) są z natury rzadkie. Dataset ma silny imbalance — model uczy się głównie scenariuszy „nominalnych".

Rozwiązanie:Symulacja syntetyczna (Waymo, NVIDIA Omniverse), augmentacja danych, active learning, scenario libraries (PEGASUS, OpenScenario).

Zbyt późna eskalacja do warstwy ratunkowejKrytyczna

Monitor runtime za późno wykrywa problem; warstwa simplex nie zdąży zatrzymać systemu zanim dojdzie do skutków.

Rozwiązanie:Konserwatywne progi monitorów, redundancja monitorów (sensor + behavioral + statistical), reachability analysis dla wyznaczania bezpiecznych margines decyzyjnych.

Ewolucja

Oryginalny paper · 2001 · IEEE Software (architektura Simplex jako fundament współczesnego SCAS) · Lui Sha

Using Simplicity to Control Complexity

Lui Sha

1986

Therac-25 — tragiczny katalizator

Punkt przełomowy

Awarie radioterapii Therac-25 spowodowały śmierci pacjentów wskutek błędów w oprogramowaniu, ujawniając braki klasycznej inżynierii oprogramowania w systemach safety-critical i wymuszając rozwój dziedziny.

1998

IEC 61508 — pierwsza horyzontalna norma funkcjonalnego bezpieczeństwa

Pierwsza norma definiująca poziomy SIL (Safety Integrity Level) i framework dla systemów elektrycznych/elektronicznych/programowalnych. Stała się szablonem dla branżowych norm pochodnych.

2001

Simplex Architecture (Sha)

Punkt przełomowy

Lui Sha proponuje formalną architekturę safety cage — prosty kontroler dowiedliwie poprawny obok złożonego, niedeterministycznego. Fundament architektoniczny współczesnego SCAS.

2011

ISO 26262 — bezpieczeństwo funkcjonalne aut

Premiera normy automotive z poziomami ASIL A–D. Stała się standardem przemysłowym dla każdego producenta samochodów; spowodowała powstanie całego ekosystemu narzędzi i procesów.

2018

Wypadek Uber w Tempe — granica SCAS

Punkt przełomowy

Pieszo zginęła Elaine Herzberg po uderzeniu przez autonomiczne auto Uber. Postępowanie ujawniło, że system AI „odznaczył" jako fałszywy alarm rzeczywisty obiekt na drodze, a operator-człowiek nie był przygotowany na przejęcie. Punkt zwrotny w dyskusji o SCAS dla aut.

2019

ISO 21448 (SOTIF)

Norma uzupełniająca ISO 26262 o „Safety Of The Intended Functionality" — zajmuje się bezpieczeństwem prawidłowo działających funkcji w warunkach niepewności (np. percepcja AI w nietypowych warunkach pogodowych).

2024

EU AI Act i ISO 8800

Punkt przełomowy

Wprowadzenie EU AI Act (regulacja systemów wysokiego ryzyka) i normy ISO 8800 specyficznej dla AI w motoryzacji. Pierwsza poważna regulacyjna i normatywna ramka dla SCAS opartych na AI/ML.

2025

Komercyjny robotaxi (Waymo) i humanoidy w fabrykach

Waymo skalował komercyjny robotaxi w kilku miastach USA, a humanoidy (Figure 02, Apptronik Apollo) zaczęły pracować w fabrykach BMW i Mercedesa — pierwsze przypadki SCAS opartych w dużej mierze na sieciach neuronowych w ogólnodostępnych usługach.

Hiperparametry (konfigurowalne osie)

Poziom integralności bezpieczeństwa (SIL/ASIL)Krytyczna

Wymagany poziom rygoru zgodnie z normą branżową. Wpływa na proces rozwoju, redundancję, częstotliwość audytów i dopuszczalną częstość awarii (1e-9 / godzinę dla DAL A w lotnictwie).

ASIL DNajwyższy poziom dla aut (ISO 26262) — np. układ kierowniczy.

DAL ANajwyższy poziom w lotnictwie (DO-178C) — awaria katastrofalna.

SIL 4Najwyższy poziom przemysłowy (IEC 61508) — poniżej 1e-8 / godzinę.

Tryb awaryjnyKrytyczna

Co system robi, gdy monitor bezpieczeństwa wykrywa anomalię. Konkretny tryb zależy od domeny — auto może się zatrzymać na poboczu, samolot oddać sterowanie pilotowi, robot przejść w stan zamrożenia.

Minimal Risk Maneuver (MRM)Standard w autach autonomicznych — zatrzymanie na poboczu.

Hand back to pilotLotnictwo — autonomia oddaje sterowanie człowiekowi.

Safe stop / freezeRoboty przemysłowe — natychmiastowe zatrzymanie ruchu.

Poziom redundancjiWysoka

Liczba niezależnych ścieżek decyzyjnych. Wyższa redundancja zwiększa MTBF i wykrywa błędy systematyczne, ale zwiększa koszt i złożoność.

Dual-channel (1oo2)Standard dla wielu zastosowań SIL 2/3.

Triple modular redundancy (TMR)Awionika i kosmonautyka — głosowanie 2 z 3.

Paradygmat wykonania

Tryb główny

Warunkowy

System przełącza się między trybem nominalnym (AI prowadzi), trybem ostrożnym (AI prowadzi pod ścisłym monitoringiem) i trybem awaryjnym (deterministyczny kontroler ratunkowy) w zależności od stanu monitora bezpieczeństwa.

Wzorzec aktywacji

Zależne od wejścia

Równoległość

Poziom równoległości

Częściowo równoległy

Główny stos AI i monitoring runtime mogą działać równolegle na różnych jednostkach obliczeniowych. Warstwa simplex jest sekwencyjnym kontrolerem nadrzędnym; jej decyzja nadrzędna nie może być pomijana ze względu na opóźnienia.

Zakres

Inferencja