NPU mapuje warstwy sieci neuronowej na sprzęt zoptymalizowany pod MAC. Rdzeniem jest tablica systoliczna lub macierz jednostek MAC, przez którą dane (aktywacje i wagi) przepływają rytmicznie, wykonując mnożenia i akumulacje bez ciągłego pobierania instrukcji. Wagi i aktywacje są kwantyzowane do niskiej precyzji (najczęściej INT8), co wielokrotnie zwiększa liczbę operacji na cykl i redukuje zużycie pamięci. Lokalna pamięć SRAM buforuje wagi i wyniki pośrednie, a kontroler DMA/dataflow steruje przepływem danych, minimalizując kosztowny dostęp do pamięci zewnętrznej. Kompilator/runtime (np. dostarczany przez producenta SoC) tłumaczy model z frameworka (PyTorch/TensorFlow/ONNX) na graf operacji, kwantyzuje go i harmonogramuje na zasoby NPU. Wydajność ogranicza liczba jednostek MAC (i częstotliwość) oraz przepustowość pamięci; realną skuteczność podaje się w TOPS oraz TOPS/W.
Sieci neuronowe wymagają ogromnej liczby mnożeń macierzowych; wykonywanie ich na CPU jest wolne, a na GPU energochłonne i kosztowne, zwłaszcza na urządzeniach mobilnych i brzegowych o ograniczonym budżecie mocy. NPU dostarcza sprzętu dedykowanego tym operacjom, oferując wysoką przepustowość przy niskim poborze energii i umożliwiając inferencję AI lokalnie, w czasie rzeczywistym.
Macierz jednostek mnożąco-akumulujących wykonująca mnożenia macierzowe i konwolucje; dane przepływają przez tablicę rytmicznie (systolic dataflow).
Szybka pamięć lokalna buforująca wagi, aktywacje i wyniki pośrednie, redukująca kosztowny dostęp do pamięci zewnętrznej.
Steruje przepływem wag i aktywacji między pamięcią a tablicą MAC, harmonogramując operacje bez udziału CPU.
Sprzętowe wsparcie dla arytmetyki niskiej precyzji (INT8/INT4) oraz funkcji aktywacji, normalizacji i poolingu.
Kwantyzacja do INT8/INT4 może obniżyć jakość modelu, jeśli nie zastosuje się kalibracji lub treningu świadomego kwantyzacji (QAT).
Wiele modeli nie wykorzystuje szczytowych TOPS, bo ogranicza je transfer wag/aktywacji, nie moc obliczeniowa.
NPU wspiera ograniczony zbiór operatorów; nietypowe warstwy spadają na CPU/GPU, niwecząc zyski wydajności.
Google wdraża tablicę systoliczną (TPU) do inferencji w centrach danych, popularyzując dedykowane akceleratory sieci neuronowych.
Huawei Kirin 970 i Apple A11 (Neural Engine) wprowadzają NPU do masowych urządzeń mobilnych, uruchamiając erę AI na urządzeniu.
Pojawiają się energooszczędne NPU brzegowe (np. Google Edge TPU), umożliwiające inferencję w IoT i robotyce.
Intel, AMD i Qualcomm dodają NPU do procesorów PC; platforma Copilot+ PC ustala próg wydajności (dziesiątki TOPS) dla lokalnej AI.
Liczba jednostek MAC i częstotliwość wyznaczają szczytową przepustowość (TOPS), kluczowy parametr wydajności NPU.
Obsługiwane formaty niskiej precyzji; niższa precyzja zwiększa TOPS i redukuje pamięć kosztem dokładności.
Przepustowość pamięci i rozmiar SRAM na chipie często stanowią realne wąskie gardło (roofline), nie sama liczba MAC.
Wykonanie przestrzenne/dataflow zdominowane przez gęste mnożenia macierzowe; nowsze NPU wspierają też rzadkość (sparsity) dla dodatkowej efektywności.
NPU osiąga równoległość przestrzenną w tablicy MAC: setki–tysiące mnożeń na cykl przy przepływowym (dataflow) modelu wykonania.
TPU to kanoniczny NPU centrum danych oparty na tablicy systolicznej — bezpośrednia realizacja tego konceptu.
Rdzenie tensorowe GPU realizują tę samą operację MAC w niskiej precyzji; funkcjonalnie zbliżone do NPU.
NPU można zaimplementować na FPGA, choć z niższą efektywnością niż dedykowany ASIC.
