Architektura SCAS jest wielowarstwowa. (1) Warstwa percepcji: redundantne, zróżnicowane sensory (kamery RGB, LiDAR, radar, IMU) — żadna pojedyncza modalność nie jest punktem krytycznym. (2) Warstwa AI/ML: główny stos decyzyjny (planner, perception, prediction) używa modeli głębokich, ale jego wyjścia są zawsze obserwowane. (3) Warstwa monitorowania runtime: detektory OOD, monitory niepewności (epistemic + aleatoric), statistical model checking, sprawdzanie predykatów bezpieczeństwa (np. „prędkość < limitu", „dystans > minimum"). (4) Bezpieczna warstwa nadrzędna (safety cage / simplex): deterministyczny kontroler awaryjny, który może przejąć sterowanie, jeśli AI zachowuje się anomalnie lub wchodzi w stan niezdefiniowany — np. zatrzymanie pojazdu, przejście w tryb ręczny pilota, alarm operatora. (5) Walidacja: kombinacja klasycznych metod (testy w pętli HIL, miliony km/godzin testów polowych) z nowymi technikami specyficznymi dla AI (adversarial testing, scenario-based testing, fuzz testing, formal verification krytycznych komponentów). (6) Certyfikacja: dokumentacja ścieżki dowodowej zgodnej z normami branżowymi i nowymi (ISO 21448 SOTIF, ISO 8800, EU AI Act Annex III).
Klasyczne metody bezpieczeństwa funkcjonalnego nie są bezpośrednio stosowalne do systemów AI: nie można udowodnić poprawności wag sieci neuronowej, nie ma deterministycznych granic błędu, a behawior na wejściach OOD jest nieprzewidywalny. SCAS rozwiązuje problem: jak wprowadzić AI w systemy, których awaria może zabić ludzi, zachowując poziom rygoru wymagany przez normy i regulatorów.
Deterministyczny kontroler nadrzędny, który nadzoruje wyjścia AI i może przejąć sterowanie w sytuacji wykroczenia poza envelope bezpieczeństwa. Architektura simplex (Sha 2001) — prosty, dowiedlnie poprawny kontroler ratunkowy obok złożonego, ale niedeterministycznego kontrolera AI.
Ciągłe sprawdzanie predykatów bezpieczeństwa, niepewności epistemicznej, dystrybucji wejść (OOD detection) i zgodności wyjść z modelem nominalnym. Generuje sygnały eskalacji do warstwy nadrzędnej.
Oficjalna
Wiele niezależnych stosów decyzyjnych (np. dwa systemy planowania zbudowane na różnych modelach), zróżnicowane sensory i niezależne ścieżki wykonawcze (actuator). Eliminuje pojedyncze punkty awarii (SPOF).
Oficjalna
Dowiedlnie poprawne sprawdzenie kluczowych własności bezpieczeństwa (np. „auto nigdy nie wjeżdża w skrzyżowanie przy czerwonym świetle") za pomocą model checking, SMT solverów lub theorem provers. Stosowane do warstw deterministycznych, nie do samej sieci.
Oficjalna
Zgodność z normami branżowymi: ISO 26262 (ASIL A–D), ISO 21448 (SOTIF — bezpieczeństwo zamierzonej funkcjonalności), ISO 8800 (AI w motoryzacji), DO-178C / DO-254 (lotnictwo), IEC 61508 (SIL 1–4 w przemyśle), IEC 62304 (medycyna). Plus EU AI Act dla systemów wysokiego ryzyka.
Środowisko produkcyjne zawiera scenariusze których nie było w treningu (rzadka pogoda, nietypowe sytuacje na drodze, sensory zabrudzone błotem). AI traci pewność lub generuje błędne predykcje.
Dwa „niezależne" stosy decyzyjne mogą zawieść równocześnie z tej samej przyczyny — np. oba używają tej samej biblioteki, tych samych danych treningowych lub tej samej sieci.
Najgroźniejsze scenariusze (wypadki, ekstremalne warunki) są z natury rzadkie. Dataset ma silny imbalance — model uczy się głównie scenariuszy „nominalnych".
Monitor runtime za późno wykrywa problem; warstwa simplex nie zdąży zatrzymać systemu zanim dojdzie do skutków.
Awarie radioterapii Therac-25 spowodowały śmierci pacjentów wskutek błędów w oprogramowaniu, ujawniając braki klasycznej inżynierii oprogramowania w systemach safety-critical i wymuszając rozwój dziedziny.
Pierwsza norma definiująca poziomy SIL (Safety Integrity Level) i framework dla systemów elektrycznych/elektronicznych/programowalnych. Stała się szablonem dla branżowych norm pochodnych.
Lui Sha proponuje formalną architekturę safety cage — prosty kontroler dowiedliwie poprawny obok złożonego, niedeterministycznego. Fundament architektoniczny współczesnego SCAS.
Premiera normy automotive z poziomami ASIL A–D. Stała się standardem przemysłowym dla każdego producenta samochodów; spowodowała powstanie całego ekosystemu narzędzi i procesów.
Pieszo zginęła Elaine Herzberg po uderzeniu przez autonomiczne auto Uber. Postępowanie ujawniło, że system AI „odznaczył" jako fałszywy alarm rzeczywisty obiekt na drodze, a operator-człowiek nie był przygotowany na przejęcie. Punkt zwrotny w dyskusji o SCAS dla aut.
Norma uzupełniająca ISO 26262 o „Safety Of The Intended Functionality" — zajmuje się bezpieczeństwem prawidłowo działających funkcji w warunkach niepewności (np. percepcja AI w nietypowych warunkach pogodowych).
Wprowadzenie EU AI Act (regulacja systemów wysokiego ryzyka) i normy ISO 8800 specyficznej dla AI w motoryzacji. Pierwsza poważna regulacyjna i normatywna ramka dla SCAS opartych na AI/ML.
Waymo skalował komercyjny robotaxi w kilku miastach USA, a humanoidy (Figure 02, Apptronik Apollo) zaczęły pracować w fabrykach BMW i Mercedesa — pierwsze przypadki SCAS opartych w dużej mierze na sieciach neuronowych w ogólnodostępnych usługach.
Wymagany poziom rygoru zgodnie z normą branżową. Wpływa na proces rozwoju, redundancję, częstotliwość audytów i dopuszczalną częstość awarii (1e-9 / godzinę dla DAL A w lotnictwie).
Co system robi, gdy monitor bezpieczeństwa wykrywa anomalię. Konkretny tryb zależy od domeny — auto może się zatrzymać na poboczu, samolot oddać sterowanie pilotowi, robot przejść w stan zamrożenia.
Liczba niezależnych ścieżek decyzyjnych. Wyższa redundancja zwiększa MTBF i wykrywa błędy systematyczne, ale zwiększa koszt i złożoność.
System przełącza się między trybem nominalnym (AI prowadzi), trybem ostrożnym (AI prowadzi pod ścisłym monitoringiem) i trybem awaryjnym (deterministyczny kontroler ratunkowy) w zależności od stanu monitora bezpieczeństwa.
Główny stos AI i monitoring runtime mogą działać równolegle na różnych jednostkach obliczeniowych. Warstwa simplex jest sekwencyjnym kontrolerem nadrzędnym; jej decyzja nadrzędna nie może być pomijana ze względu na opóźnienia.
Główny stos AI (perception, prediction, planning) działa na GPU. Często stosuje się GPU z certyfikatem automotive (NVIDIA DRIVE).
Warstwa simplex / safety cage / monitor runtime działa typowo na lockstep CPU z hard real-time, dla pełnej dowodliwości.
FPGA są używane dla deterministycznej, weryfikowalnej obróbki sygnałów sensorycznych (LiDAR, radar) i jako platforma dla simplex.
