NVIDIA Holoscan Sensor Bridge to platforma sprzętowo-programowa zaprojektowana do niskoopóźnieniowego akwizowania danych z czujników wysokiej przepustowości i przesyłania ich bezpośrednio do pamięci GPU przez sieć Ethernet. Stanowi kluczowy element ekosystemu NVIDIA Holoscan — platformy do przetwarzania danych sensorycznych w AI medycznym, robotycznym i przemysłowym.
Platforma składa się z trzech warstw. Po pierwsze, fizyczne urządzenie sprzętowe oparte na układzie FPGA (Lattice CertusPro-NX lub Microchip PolarFire MPF200) odbiera dane z czujników przez natywny interfejs sensoryczny (MIPI CSI-2, AXI Stream, CoaXPress). Po drugie, FPGA pakietuje dane w ramki UDP i wysyła przez interfejs 2× 10 GbE do hosta. Po trzecie, na hoście karta sieciowa ConnectX zapisuje dane bezpośrednio w pamięci GPU technologią GPUDirect RDMA — bez angażowania CPU, co minimalizuje opóźnienie end-to-end.
Lattice CertusPro-NX Sensor to Ethernet Bridge Board (LF-SNSR-ETH-EVN) — pierwsza certyfikowana implementacja referencyjna. FPGA Lattice CertusPro-NX, 2× 10GbE (RJ45 + SFP+), interfejsy MIPI CSI-2 i AXI Stream. Dostępna przez Arrow i Digi-Key.
Microchip PolarFire MPF200 Ethernet Sensor Bridge — implementacja oparta na FPGA Microchip PolarFire (MPF200). Obsługuje te same interfejsy i API co implementacja Lattice.
Kod źródłowy opublikowany na GitHub (nvidia-holoscan/holoscan-sensor-bridge) na licencji Apache 2.0. Pakiet dostarcza: operator strumieniowy kompatybilny z Holoscan SDK (C++ i Python), sterowniki SIPL/UDDF do obsługi kamer, moduł emulacji HSB Emulator (do testowania bez fizycznego sprzętu), wsparcie dla GPUDirect RDMA przez RoCE (RDMA over Converged Ethernet) i Linux sockets jako fallback. Integracja z Holoscan SDK umożliwia budowanie pełnych potoków AI end-to-end od czujnika do wyniku inferencji.
Zastosowania: obrazowanie medyczne (endoskopia, chirurgia robotyczna, ultrasound, tomografia), inspekcja przemysłowa, robotyka z real-time sensor fusion, edge AI. Certyfikowani partnerzy integracyjni: Lattice Semiconductor, Microchip Technology, Leopard Imaging (kamery IMX274/VB1940 Eagle), e-con Systems, Analog Devices (GMSL), Yuan i Deltacast (karty IO do Holoscan). Adopcja w robotyce chirurgicznej: Virtual Incision (platforma robotyczna nowej generacji z Holoscan Sensor Bridge).
Most sensoryczny FPGA-Ethernet · pełni rolę: Akwizycja danych sensorycznych, Sensoryka, Komunikacja, Percepcja. · kompatybilny z: Robot Medyczny, Robot Przemysłowy, Humanoid, Ramię robotyczne.
Do jakiej grupy należy NVIDIA Holoscan Sensor Bridge i jak jest skonstruowany
Karty i moduły sprzętowe oparte na układzie FPGA, przeznaczone do niskopoznieniowego przesyłu danych z czujnikow do procesora/GPU przez siec Ethernet lub inne szybkie interfejsy.
Klasa urzadzen sprzętowych opartych na ukladzie FPGA, ktore odbieraja dane z czujnikow (kamery MIPI, ultrasound, sensory przemyslowe) przez wlasciwy interfejs czujnika, a nastepnie pakietuja je do ramek UDP i przesylaja przez szybki interfejs Ethernet (10/25/100 GbE) do hosta z karta sieciowa ConnectX. Na hoscie dane laduja bezposrednio w pamieci GPU z wykorzystaniem technologii GPUDirect RDMA (bez kopiowania przez CPU), co minimalizuje opoznienie end-to-end od czujnika do algorytmu AI. Przykladami sa: NVIDIA Holoscan Sensor Bridge (Lattice CertusPro-NX) i Microchip Ethernet Sensor Bridge (PolarFire MPF200). Typ powszechny w robotyce medycznej, inspekcji przemyslowej i edge AI.
Wzorzec konstrukcyjny wyrozniany cechami: (1) Wejscie sensoryczne przez interfejs natywny czujnika (MIPI CSI-2, CoaXPress, GigE Vision, AXI Stream). (2) FPGA realizuje zadania: synchronizacja, prebufferowanie, packetyzacja UDP, precyzyjne znacznikowanie czasu (PTP/IEEE 1588). (3) Wyjscie przez szybki interfejs Ethernet (10G, 25G) do karty sieciowej ConnectX z obsluga RDMA. (4) Dane laduja w pamieci GPU przez GPUDirect RDMA bez angadzowania CPU — subms opoznienie end-to-end. (5) Warstwa oprogramowania: standardowe API z abstrakcja transportu, sterowniki SIPL/UDDF, operator strumieniowy kompatybilny z SDK (np. Holoscan SDK). Zrealizowane komercyjnie jako: Lattice CertusPro-NX Sensor Bridge, Microchip PolarFire Ethernet Sensor Bridge.
Inne części sprzętowe powiązane z NVIDIA Holoscan Sensor Bridge
