Kompilator Groq z góry planuje każdą operację i każdy transfer danych w czasie (statyczne, deterministyczne szeregowanie), więc układ nie potrzebuje pamięci podręcznych ani predykcji rozgałęzień. Dane przepływają przez macierze jednostek obliczeniowych (mnożenia macierzy, funkcje wektorowe) w ustalonym rytmie, a wagi i aktywacje rezydują w szybkiej pamięci SRAM na układzie. Dla dużych modeli wiele układów LPU łączy się w sieć o deterministycznej komunikacji, co pozwala skalować model przy zachowaniu przewidywalnej latencji. Efektem jest bardzo szybka, powtarzalna generacja tokenów.
Inferencja LLM na GPU jest ograniczona przepustowością pamięci (HBM) i cierpi na zmienną latencję przez reaktywne, niedeterministyczne wykonanie. LPU rozwiązuje to deterministycznym dataflow i pamięcią SRAM na układzie, dając przewidywalnie niską latencję i wysoką przepustowość.
Rdzeń dataflow wykonujący operacje w deterministycznym, planowanym rytmie.
Duża, szybka pamięć na wagi i aktywacje zamiast HBM.
Planuje z góry każdą operację i transfer danych.
Łączy wiele LPU dla dużych modeli z przewidywalną komunikacją.
Oficjalna
Duże modele wymagają rozłożenia na wiele układów LPU.
Wydajność i poprawność zależą od statycznego harmonogramu kompilatora.
Jonathan Ross (współtwórca Google TPU) zakłada Groq.
Groq opisuje Tensor Streaming Processor — deterministyczny procesor dataflow.
Inferencja LLM na LPU trafia do głównego nurtu dzięki GroqCloud.
Wykonanie jest gęste i w pełni deterministyczne (statyczny harmonogram kompilatora), bez reaktywnych mechanizmów sprzętowych.
Równoległość na poziomie macierzy obliczeniowych i wielu układów; dekodowanie autoregresyjne pozostaje sekwencyjne po tokenach.
