System zbiera dane z czujników i buduje model otoczenia, lokalizuje pojazd na mapie, prognozuje ruch innych obiektów, planuje trajektorię i wydaje polecenia sterujące (przyspieszanie, hamowanie, skręt). Modele uczenia maszynowego odpowiadają za percepcję i predykcję, a moduły planowania i kontroli za bezpieczne wykonanie manewrów.
Ludzka jazda jest źródłem większości wypadków. Autonomiczna jazda dąży do bezpieczniejszego, skalowalnego transportu bez kierowcy.