Fuzja czujników
Jak działa
1) Akwizycja i wstępne przetwarzanie: każdy czujnik dostarcza pomiary z własnym modelem szumu; dane są filtrowane i przygotowywane. 2) Synchronizacja i kalibracja: pomiary są zestrajane czasowo (timestamping) oraz przestrzennie (kalibracja wzajemna/ekstrinsyczna) do wspólnego układu odniesienia. 3) Model stanu i obserwacji: definiuje się wektor stanu (np. pozycja, prędkość, orientacja), model ruchu (predykcja) oraz model obserwacji mapujący stan na pomiary każdego czujnika. 4) Estymacja rekurencyjna: filtr bayesowski naprzemiennie wykonuje krok predykcji (propagacja stanu i kowariancji modelem ruchu) i krok korekcji (aktualizacja stanu nowymi pomiarami, ważona ich niepewnością — kowariancjami Q i R). Filtr Kalmana robi to optymalnie dla układów liniowo-gaussowskich; EKF linearyzuje model, UKF używa transformaty bezśladowej, a filtr cząsteczkowy reprezentuje rozkład zbiorem próbek dla silnie nieliniowych/niegaussowskich przypadków. 5) Asocjacja danych: przy wielu obiektach pomiary są przypisywane do odpowiednich śladów (tracks). 6) Poziom fuzji: łączenie może zachodzić na surowych danych (wczesna), na cechach lub na decyzjach (późna), a architektonicznie centralnie lub w sposób rozproszony.
Rozwiązany problem
Pojedynczy czujnik jest ograniczony: ma skończoną dokładność, szum, zasięg, pole widzenia i wrażliwość na warunki (np. kamera słabnie w nocy, LiDAR w deszczu/mgle, GPS w tunelach). Fuzja redukuje niepewność i szum, uzupełnia braki danych jednego źródła informacją z innych (komplementarność), zwiększa odporność na awarie i zakłócenia przez redundancję oraz pozwala estymować wielkości niemierzalne bezpośrednio pojedynczym czujnikiem (np. pozycję i prędkość z połączenia IMU i GPS).
Komponenty
Rdzeń fuzji — filtr bayesowski (Kalman, EKF, UKF, filtr cząsteczkowy) naprzemiennie przewidujący i korygujący estymatę stanu na podstawie pomiarów.
Funkcja mapująca stan na spodziewane pomiary danego czujnika wraz z modelem jego szumu (kowariancja R).
Model predykcji ewolucji stanu w czasie wraz z szumem procesu (kowariancja Q), używany w kroku predykcji.
Zestrojenie czasowe (timestamping) i przestrzenne (kalibracja ekstrinsyczna/intrinsyczna) pomiarów do wspólnego układu odniesienia.
Przypisywanie pomiarów do właściwych obiektów/śladów przy śledzeniu wielu celów.
Opis pewności estymaty (macierze kowariancji lub rozkłady prawdopodobieństwa) pozwalający ważyć źródła wg ich jakości.
Implementacja
Niezgodne znaczniki czasu lub opóźnienia między strumieniami czujników prowadzą do łączenia pomiarów z różnych chwil i degradacji estymaty.
Niedokładna kalibracja ekstrinsyczna/intrinsyczna czujników powoduje systematyczne przesunięcia przy przeliczaniu do wspólnego układu.
Nieprawidłowe macierze szumu procesu i pomiaru powodują zbyt wolną lub przereaktywną estymatę, a w skrajnym przypadku rozbieżność filtra.
Silna nieliniowość modelu powoduje, że linearyzacja EKF daje obciążone estymaty lub rozbieżność.
Przy wielu obiektach błędne przypisanie pomiarów do śladów psuje całe śledzenie.
Ewolucja
Rudolf E. Kálmán wprowadza rekurencyjny, optymalny estymator stanu dla układów liniowo-gaussowskich — matematyczny fundament nowoczesnej fuzji czujników.
Nieliniowy wariant filtra (EKF) zostaje użyty w nawigacji misji Apollo, upowszechniając fuzję w systemach sterowania pojazdami kosmicznymi i lotniczymi.
Joint Directors of Laboratories (US DoD) formalizuje wielopoziomowy model fuzji danych (poziomy 0-5), standaryzując terminologię dziedziny.
Gordon, Salmond i Smith proponują filtr cząsteczkowy do estymacji stanu w układach silnie nieliniowych i niegaussowskich.
Julier i Uhlmann wprowadzają transformatę bezśladową, dającą dokładniejszą fuzję nieliniową bez jawnej linearyzacji wymaganej w EKF.
Książka Probabilistic Robotics (Thrun, Burgard, Fox) upowszechnia filtry bayesowskie jako standard fuzji w lokalizacji i mapowaniu robotów (SLAM).
Upowszechnienie uczonej fuzji kamera-LiDAR-radar (m.in. reprezentacje w przestrzeni BEV i modele transformerowe) w percepcji pojazdów autonomicznych.
Hiperparametry (konfigurowalne osie)
Poziom abstrakcji łączonych danych: wczesna (surowe dane), na poziomie cech, lub późna (decyzje).
Wybór estymatora: Kalman (liniowy), EKF, UKF lub filtr cząsteczkowy — zależnie od nieliniowości i rozkładu szumu.
Zakłada niepewność modelu ruchu; strojenie Q wpływa na reaktywność vs. gładkość estymaty.
Zakłada niepewność każdego czujnika; określa, jak mocno dany pomiar koryguje stan.
Dobór i liczba źródeł (kamera, LiDAR, radar, IMU, GPS) decydujący o komplementarności i redundancji.
Scentralizowana vs. rozproszona (zdecentralizowana) lokalizacja łączenia danych.
Równoległość
Wstępne przetwarzanie poszczególnych czujników i fuzja rozproszona mogą działać równolegle (na wielu węzłach/urządzeniach), ale rekurencyjny krok korekcji filtra jest z natury sekwencyjny w czasie.
Wymagania sprzętowe
Klasyczne filtry (Kalman/EKF/UKF) są lekkie obliczeniowo i działają na CPU, mikrokontrolerach i systemach wbudowanych w czasie rzeczywistym.
Operacje macierzowe filtrów i estymacji stanu dobrze korzystają z wektoryzacji SIMD na CPU.
Fuzja oparta na sieciach neuronowych (np. fuzja w przestrzeni BEV, modele transformerowe) korzysta z akceleracji GPU.