Agentowe systemy AI przeniosły wąskie gardło wydajności z GPU z powrotem na CPU — wynika z analizy IEEE Spectrum z sierpnia 2026. Większość etapów pracy agenta, od wywołań narzędzi po tokenizację i kontrole bezpieczeństwa, działa na procesorach, a nie na akceleratorach, co zaskoczyło operatorów centrów danych.
Najważniejsze w skrócie
- Według testów AMD siedem z ośmiu etapów pipeline'u agentowego działa w całości na CPU.
- Zwiększenie liczby rdzeni CPU skraca czas do pierwszego tokena od 1,5 do 7 razy przy długich sekwencjach.
- Dla modelu Llama-8B zwiększenie rdzeni z 5 do 32 poprawiło opóźnienia 4,45-krotnie.
- Intel wyprzedał procesory serwerowe do końca roku, a AMD podwoiło prognozę sprzedaży serwerowych CPU.
- Sekwencje w systemach agentowych sięgają od 500 tys. do 1 mln tokenów i wymagają ponownej tokenizacji przy każdym wywołaniu narzędzia.
Dlaczego CPU wróciły do gry
W czasie boomu na AI to GPU przejęły rolę głównego akceleratora, a procesory zeszły na drugi plan. Agentowe systemy odwróciły ten układ. Choć samą inferencję modelu wykonuje GPU, większość pozostałych etapów — wywołania narzędzi (operacje na plikach, wywołania API, uruchamianie kodu), orkiestracja, tokenizacja i kontrole bezpieczeństwa — działa na CPU. W testach AMD siedem z ośmiu etapów pipeline'u agentowego działało w całości na procesorze, który w tym czasie potrafi stać bezczynnie podczas inferencji na GPU, i odwrotnie.
Największym hamulcem jest sama tokenizacja — zamiana tekstu na identyfikatory tokenów to rozgałęziona, zależna od danych, sekwencyjna manipulacja łańcuchami znaków, która nie poddaje się masowej równoległości GPU. Do tego dochodzą małe modele bezpieczeństwa poniżej 1 mld parametrów, które dla minimalizacji opóźnień zostają na CPU.
Skala problemu
Agenty potęgują obciążenie. Pojedynczy agent uruchamia podagentów i wiele wywołań narzędzi z prędkością maszyny. Podczas jednego incydentu na Hugging Face model OpenAI wykonywał około 300 akcji na godzinę. Amazon Web Services nakazał wewnętrznie oszczędzanie cykli CPU z powodu kolejek po moc obliczeniową. Ponieważ sekwencje sięgają od 500 tys. do 1 mln tokenów, a każde wywołanie narzędzia wymaga ponownej tokenizacji całej sekwencji, koszt CPU rośnie wykładniczo wraz z długością rozmowy.
Odpowiedź rynku
Producenci zareagowali. Intel wyprzedał procesory serwerowe do końca roku, a AMD podwoiło prognozę ich sprzedaży. Arm i Qualcomm pozycjonują się pod obciążenia agentowe, a NVIDIA spriorytetyzowała swój procesor Vera. Optymalizacje harmonogramowania potrafią skrócić opóźnienia nawet 1,8-krotnie, a dokładanie rdzeni przyspiesza czas do pierwszego tokena?czas do pierwszego tokena: opóźnienie od wysłania zapytania do pojawienia się pierwszego tokena odpowiedzi modelu od 1,5 do 7 razy przy długich sekwencjach. Dla modelu Llama-8B zwiększenie rdzeni z 5 do 32 dało 4,45-krotną poprawę opóźnień.
Dlaczego to ważne?
Rynek AI planował budżety infrastruktury wokół akceleratorów, traktując procesory jak tanie tło. Agentowe obciążenia obnażają ten błąd: to CPU decyduje o realnym opóźnieniu i przepustowości całego łańcucha. Dla firm oznacza to konieczność ponownego zbilansowania serwerów, a dla dostawców procesorów — nieoczekiwane okno popytu, którego jeszcze rok temu nikt im nie obiecywał.
Co dalej?
- Prace nad harmonogramowaniem świadomym CPU (redukcja opóźnień do 1,8x) wskazują kierunek optymalizacji agentów pod procesory.
- Priorytet NVIDIA dla procesora Vera sygnalizuje, że nawet producent GPU przesuwa uwagę ku CPU pod obciążenia agentowe.
- Wyprzedanie zapasów Intela i podwojona prognoza AMD zapowiadają napięcia w dostępności serwerowych CPU do końca 2026.
