System działa w ciągłej pętli sense–plan–act w czasie rzeczywistym. (1) Percepcja: czujniki (kamery, LiDAR, radar, ultradźwięki) dostarczają surowe dane, z których moduły wykrywają i śledzą obiekty oraz budują semantyczny obraz sceny. (2) Lokalizacja i mapowanie: fuzja GNSS/IMU z mapami HD oraz SLAM wyznacza pozycję pojazdu. (3) Fuzja czujników: łączy odczyty wielu modalności w spójny stan otoczenia. (4) Predykcja: przewiduje przyszłe trajektorie innych uczestników ruchu. (5) Planowanie: warstwa behawioralna wybiera manewr, a planer ruchu generuje bezpieczną, wykonalną trajektorię. (6) Sterowanie: kontroler (np. MPC) przekłada trajektorię na komendy kierownicy, gazu i hamulca. W podejściu end-to-end większość tego potoku zastępuje pojedyncza sieć neuronowa uczona metodą klonowania zachowań lub uczenia ze wzmocnieniem.
Automatyzacja zadania prowadzenia w celu ograniczenia błędów człowieka — głównej przyczyny wypadków drogowych — oraz zwiększenia dostępności mobilności, optymalizacji przepływu ruchu i redukcji kosztów pracy w transporcie.
Wykrywanie i śledzenie obiektów oraz budowa semantycznego obrazu sceny z surowych danych czujników (kamery, LiDAR, radar, ultradźwięki).
Oficjalna
Wyznaczanie pozycji pojazdu przez fuzję GNSS/IMU z mapami wysokiej rozdzielczości (HD) oraz SLAM.
Oficjalna
Przewidywanie przyszłych trajektorii i intencji innych uczestników ruchu (pojazdów, pieszych, rowerzystów).
Oficjalna
Wybór manewru (warstwa behawioralna) i generowanie bezpiecznej, wykonalnej trajektorii (planer ruchu).
Oficjalna
Przełożenie zaplanowanej trajektorii na komendy aktuatorów (kierownica, gaz, hamulec), często z użyciem MPC.
Oficjalna
Rzadkie, nietypowe sytuacje drogowe słabo reprezentowane w danych treningowych powodują błędy percepcji i decyzji.
Deszcz, mgła, śnieg, oślepiające słońce i zabrudzenia obniżają jakość danych z kamer i LiDAR-u.
Zachowania wyuczone w symulacji nie przenoszą się wiernie na świat rzeczywisty.
Statystyczne udowodnienie bezpieczeństwa wymaga miliardów kilometrów jazdy i pokrycia rzadkich zdarzeń.
Cały potok percepcja→sterowanie musi zamknąć się w kilkudziesięciu milisekundach przy wysokich prędkościach.
Dean Pomerleau (CMU) trenuje sieć neuronową mapującą obraz z kamery na kąt skrętu — prekursor podejścia end-to-end.
Zespół Ernsta Dickmannsa demonstruje jazdę wizyjną z dużą prędkością w ruchu drogowym (projekt PROMETHEUS).
Robot Stanley zespołu Sebastiana Thruna kończy trasę na pustyni; pierwszy ukończony Grand Challenge.
Pojazd Boss z CMU wygrywa wyścig w środowisku miejskim z ruchem — kamień milowy jazdy w mieście.
Google uruchamia program samochodu autonomicznego, który w 2016 r. wydzielono jako Waymo.
SAE International definiuje wspólną taksonomię sześciu poziomów automatyzacji jazdy.
Sieć CNN mapuje surowe piksele z kamery bezpośrednio na komendy skrętu — odrodzenie podejścia end-to-end.
Waymo uruchamia komercyjną usługę przejazdów autonomicznych w rejonie Phoenix.
Framework „Planning-oriented Autonomous Driving" integruje pełny stos zadań jazdy w jednej sieci; prezentowany na CVPR 2023.
Poziom automatyzacji wg SAE J3016, od 0 (brak) do 5 (pełna).
Zakres warunków (obszar, pogoda, pora dnia, prędkości), w których system może bezpiecznie działać.
Konfiguracja modalności czujników — od kamer-only po fuzję kamera + LiDAR + radar.
Modularny potok vs. podejście end-to-end (jedna sieć neuronowa od czujników do sterowania).
Stopień redundancji sprzętu i oprogramowania zapewniający bezpieczne działanie po awarii.
Moduły stosu (percepcja, predykcja, planowanie, sterowanie) częściowo działają równolegle w czasie rzeczywistym, jednak decyzja sterująca pozostaje sekwencyjną pętlą zależną od najświeższej percepcji.
Sieci percepcji i planowania działają na motoryzacyjnych akceleratorach z rdzeniami tensorowymi (np. NVIDIA DRIVE, dedykowane SoC), zapewniając inferencję w czasie rzeczywistym przy ograniczonym budżecie energetycznym.
