Akcelerator inferencyjny odwzorowuje graf obliczeniowy modelu na sprzętowe jednostki mnożąco-akumulujące. Warstwy liniowe i sploty są sprowadzane do mnożenia macierzy i wykonywane na tablicy systolicznej lub macierzy rdzeni tensorowych, gdzie dane przepływają przez siatkę jednostek MAC, minimalizując ruch danych względem pamięci. Wagi modelu i aktywacje są kwantyzowane do niskiej precyzji (INT8/FP8), co zwiększa liczbę operacji na cykl i redukuje zapotrzebowanie na pasmo pamięci. Kompilator (np. TVM, AWS Neuron, XLA) przekształca model do reprezentacji pośredniej, dobiera układ pamięci, fuzje operatorów i harmonogram, a następnie generuje instrukcje dla akceleratora. W czasie serwowania żądania są często grupowane w partie (batching), aby zmaksymalizować wykorzystanie jednostek obliczeniowych, przy czym w dekodowaniu autoregresyjnym (LLM) wąskim gardłem staje się przepustowość pamięci, a nie moc obliczeniowa.
Wnioskowanie na dużą skalę na procesorach CPU i uniwersalnych GPU jest kosztowne energetycznie i ograniczone przepustowością pamięci, a przy modelach produkcyjnych generuje wysokie koszty operacyjne i opóźnienia. Akcelerator inferencyjny rozwiązuje problem efektywnego, taniego i niskolatencyjnego serwowania wytrenowanych modeli — zarówno w centrum danych, jak i na urządzeniach brzegowych o ograniczonym budżecie mocy.
Siatka jednostek mnożąco-akumulujących (MAC) wykonująca mnożenie macierzy przez rytmiczny przepływ danych między sąsiednimi komórkami, co minimalizuje dostępy do pamięci głównej.
Duży, szybki bufor SRAM przechowujący wagi i aktywacje blisko jednostek obliczeniowych, ograniczający ruch do pamięci zewnętrznej (HBM/DRAM), który jest głównym źródłem opóźnień i poboru energii.
Ścieżka danych obsługująca formaty INT8, FP8 i BF16 wraz ze skalowaniem, umożliwiająca zwielokrotnienie przepustowości względem FP32 przy kontrolowanej utracie dokładności.
Oficjalna
Warstwa oprogramowania (np. XLA, AWS Neuron, Apache TVM), która przekształca graf modelu do reprezentacji pośredniej, dobiera fuzje operatorów, układ pamięci i harmonogram, a następnie generuje kod dla akceleratora.
Oficjalna
Agresywna kwantyzacja (INT8/FP8) może istotnie obniżyć jakość modelu bez kalibracji lub treningu świadomego kwantyzacji (QAT).
Dekodowanie LLM z batchem 1 nie wysyca jednostek MAC — o wydajności decyduje pasmo pamięci, nie TOPS.
Nietypowe operatory mogą nie być wspierane i wymuszać kosztowny fallback na CPU/GPU, psując latencję.
Zwiększanie batcha podnosi przepustowość, ale zwiększa opóźnienie pojedynczego żądania (p99).
Pierwszy szeroko wdrożony dedykowany akcelerator inferencyjny w centrum danych.
Formalna analiza wydajności TPU oraz udostępnienie otwartej architektury akceleratora głębokiego uczenia. W tym samym roku Apple wprowadza Neural Engine (A11).
Popularyzacja inferencji INT8 na GPU zoptymalizowanych pod serwowanie.
Dedykowany układ inferencyjny AWS zaprezentowany na re:Invent, obniżający koszt serwowania.
Wejście formatu FP8 do inferencji LLM oraz architektury zoptymalizowane pod ultra-niską latencję dekodowania (Groq LPU).
Przy niskiej intensywności arytmetycznej — typowej dla dekodowania autoregresyjnego LLM z batchem 1 — wydajność jest ograniczona przepustowością pamięci (ruch wag), a nie mocą obliczeniową (roofline). Duży batch i wysoka intensywność arytmetyczna przesuwają wąskie gardło w stronę jednostek MAC.
Format arytmetyki inferencji (INT8, FP8, BF16, FP16).
Teoretyczna liczba operacji na sekundę, zwykle podawana per precyzja.
Pasmo pamięci (HBM/DRAM) — kluczowe dla dekodowania LLM.
Ilość szybkiej pamięci lokalnej ograniczająca ruch do pamięci zewnętrznej.
Kompromis między latencją a przepustowością serwowania.
Wymiary siatki MAC (np. 256x256) determinujące szczytową moc GEMM.
Limit poboru mocy — krytyczny na brzegu sieci.
Standardowe akceleratory wykonują gęste GEMM (wszystkie ścieżki aktywne). Wsparcie dla rzadkości (sparsity, np. 2:4) i modeli MoE jest opcjonalnym rozszerzeniem.
Inferencja wsadowa jest silnie równoległa (dane, kanały, tokeny). Autoregresyjne dekodowanie LLM jest sekwencyjne między tokenami, ale równoległe wewnątrz każdego kroku.
TPU to sztandarowy przykład akceleratora inferencyjnego opartego na tablicy systolicznej.
GPU z rdzeniami Tensor (np. T4/H100) są powszechnie używane do inferencji z INT8/FP8.
FPGA umożliwiają konfigurowalne potoki inferencyjne o niskiej latencji, kosztem mniejszej gęstości obliczeń.
Układy neuromorficzne oferują skrajnie niskopoborowe wnioskowanie dla sieci impulsowych, ale w wąskich zastosowaniach.
CPU z instrukcjami wektorowymi obsłużą inferencję, lecz z niższą efektywnością energetyczną i przepustowością.
