Infrastruktura

NPU

AktywnyOpublikowano: 20 września 2026Aktualizacja: 20 września 2026Opublikowany

Wyspecjalizowany procesor (akcelerator AI) do sieci neuronowych, zoptymalizowany pod mnożenie macierzy w niskiej precyzji (INT8/INT4). Występuje w telefonach, PC (Copilot+) i centrach danych; wydajność mierzy się w TOPS.

Kluczowa innowacja

Wyspecjalizowany akcelerator sprzętowy zaprojektowany wokół mnożeń macierzowych w niskiej precyzji, oferujący wielokrotnie lepszy stosunek wydajności do mocy niż CPU/GPU dla inferencji sieci neuronowych — umożliwiając AI na urządzeniu (on-device).

Kategoria

Infrastruktura

Poziom abstrakcji

Primitive

Poziom operacji

InferencjaWdrożenie

Zastosowania

Inferencja AI na urządzeniu (telefony, laptopy Copilot+ PC)Percepcja i sterowanie w robotyce i urządzeniach brzegowychPrzetwarzanie obrazu, mowy i modeli językowych lokalnieAkceleracja inferencji w centrach danych (np. Google TPU)Energooszczędne AI w IoT i systemach wbudowanych

Jak działa

NPU mapuje warstwy sieci neuronowej na sprzęt zoptymalizowany pod MAC. Rdzeniem jest tablica systoliczna lub macierz jednostek MAC, przez którą dane (aktywacje i wagi) przepływają rytmicznie, wykonując mnożenia i akumulacje bez ciągłego pobierania instrukcji. Wagi i aktywacje są kwantyzowane do niskiej precyzji (najczęściej INT8), co wielokrotnie zwiększa liczbę operacji na cykl i redukuje zużycie pamięci. Lokalna pamięć SRAM buforuje wagi i wyniki pośrednie, a kontroler DMA/dataflow steruje przepływem danych, minimalizując kosztowny dostęp do pamięci zewnętrznej. Kompilator/runtime (np. dostarczany przez producenta SoC) tłumaczy model z frameworka (PyTorch/TensorFlow/ONNX) na graf operacji, kwantyzuje go i harmonogramuje na zasoby NPU. Wydajność ogranicza liczba jednostek MAC (i częstotliwość) oraz przepustowość pamięci; realną skuteczność podaje się w TOPS oraz TOPS/W.

Rozwiązany problem

Sieci neuronowe wymagają ogromnej liczby mnożeń macierzowych; wykonywanie ich na CPU jest wolne, a na GPU energochłonne i kosztowne, zwłaszcza na urządzeniach mobilnych i brzegowych o ograniczonym budżecie mocy. NPU dostarcza sprzętu dedykowanego tym operacjom, oferując wysoką przepustowość przy niskim poborze energii i umożliwiając inferencję AI lokalnie, w czasie rzeczywistym.

Komponenty

MAC / systolic arrayRdzeń obliczeniowy NPU

Macierz jednostek mnożąco-akumulujących wykonująca mnożenia macierzowe i konwolucje; dane przepływają przez tablicę rytmicznie (systolic dataflow).

On-chip SRAM / buffersOgraniczanie ruchu danych

Szybka pamięć lokalna buforująca wagi, aktywacje i wyniki pośrednie, redukująca kosztowny dostęp do pamięci zewnętrznej.

Dataflow / DMA controllerOrkiestracja danych

Steruje przepływem wag i aktywacji między pamięcią a tablicą MAC, harmonogramując operacje bez udziału CPU.

Quantization / activation unitsNiska precyzja i funkcje nieliniowe

Sprzętowe wsparcie dla arytmetyki niskiej precyzji (INT8/INT4) oraz funkcji aktywacji, normalizacji i poolingu.

Implementacja

Implementacje referencyjne

Google Cloud TPU / Edge TPU

Hardware + XLA/JAX/TensorFlow · Google

Oficjalna

Apple Neural Engine (Core ML)

Core ML runtime · Apple

Oficjalna

Pułapki implementacyjne

Utrata dokładności przy kwantyzacjiWysoka

Kwantyzacja do INT8/INT4 może obniżyć jakość modelu, jeśli nie zastosuje się kalibracji lub treningu świadomego kwantyzacji (QAT).

Rozwiązanie:Kalibracja po treningu, QAT, mieszane precyzje dla wrażliwych warstw.

Ograniczenie przepustowością pamięciWysoka

Wiele modeli nie wykorzystuje szczytowych TOPS, bo ogranicza je transfer wag/aktywacji, nie moc obliczeniowa.

Rozwiązanie:Tiling, ponowne użycie danych, kompresja/rzadkość, optymalizacja pod roofline.

Nieobsługiwane operatoryŚrednia

NPU wspiera ograniczony zbiór operatorów; nietypowe warstwy spadają na CPU/GPU, niwecząc zyski wydajności.

Rozwiązanie:Projektować modele pod wspierane operatory; sprawdzać raporty kompilatora NPU.

Ewolucja

2016

Google TPU v1 — NPU w centrum danych

Punkt przełomowy

Google wdraża tablicę systoliczną (TPU) do inferencji w centrach danych, popularyzując dedykowane akceleratory sieci neuronowych.

2017

NPU w smartfonach (Kirin 970, Apple A11)

Punkt przełomowy

Huawei Kirin 970 i Apple A11 (Neural Engine) wprowadzają NPU do masowych urządzeń mobilnych, uruchamiając erę AI na urządzeniu.

2018

Edge TPU i akceleratory brzegowe

Pojawiają się energooszczędne NPU brzegowe (np. Google Edge TPU), umożliwiające inferencję w IoT i robotyce.

2024

NPU w komputerach PC (Copilot+ PC)

Intel, AMD i Qualcomm dodają NPU do procesorów PC; platforma Copilot+ PC ustala próg wydajności (dziesiątki TOPS) dla lokalnej AI.

Hiperparametry (konfigurowalne osie)

MAC count / TOPSKrytyczna

Liczba jednostek MAC i częstotliwość wyznaczają szczytową przepustowość (TOPS), kluczowy parametr wydajności NPU.

Numeric precision (INT8/INT4/FP16)Wysoka

Obsługiwane formaty niskiej precyzji; niższa precyzja zwiększa TOPS i redukuje pamięć kosztem dokładności.

Memory bandwidth / SRAM sizeWysoka

Przepustowość pamięci i rozmiar SRAM na chipie często stanowią realne wąskie gardło (roofline), nie sama liczba MAC.

Paradygmat wykonania

Tryb główny

Gęsty

Wykonanie przestrzenne/dataflow zdominowane przez gęste mnożenia macierzowe; nowsze NPU wspierają też rzadkość (sparsity) dla dodatkowej efektywności.

Wzorzec aktywacji

Wszystkie ścieżki aktywne