Custom AI silicon
Jak działa
Zespol projektuje uklad pod konkretny profil obliczen AI: rdzeniem sa jednostki mnozenia macierzy (np. tablice systoliczne), wspierane przez arytmetyke niskiej precyzji (FP8/INT8/bfloat16), duza pamiec o wysokiej przepustowosci (HBM) oraz szybkie polaczenia miedzy chipami, ktore pozwalaja laczyc uklady w duze klastry (pody). Projekt (RTL) jest doprowadzany do produkcji (tape-out) i wytwarzany w fabryce (np. TSMC), czesto we wspolpracy z partnerem od implementacji krzemu (np. Broadcom, Marvell). Aby chip byl uzyteczny, potrzebny jest tez stos programowy (kompilatory, sterowniki, biblioteki), co bywa najtrudniejszym elementem ze wzgledu na dominacje ekosystemu CUDA.
Rozwiązany problem
Uniwersalne GPU sa drogie, energochlonne i nie zawsze optymalne dla waskiego profilu obliczen AI; ich podaz i ceny sa zdominowane przez jednego dostawce. Dedykowane ASIC pozwalaja obnizyc koszt i pobor mocy oraz uniezaleznic sie od zewnetrznych GPU.
Komponenty
Rdzen obliczeniowy zoptymalizowany pod mnozenie macierzy - dominujaca operacje w AI.
Formaty FP8/INT8/bfloat16 zwiekszajace przepustowosc i efektywnosc energetyczna.
Oficjalna
Szybka pamiec zapewniajaca przeplyw danych do jednostek obliczeniowych.
Oficjalna
Szybkie polaczenia laczace wiele ukladow w duze klastry (pody).
Oficjalna
Kompilatory i biblioteki umozliwiajace uruchamianie modeli na dedykowanym ukladzie.
Implementacja
Brak dojrzalego stosu programowego (kompilatory, biblioteki) ogranicza adopcje, mimo dobrej wydajnosci sprzetu.
Projekt i produkcja ASIC to duze koszty NRE i wielomiesieczne cykle; ryzyko, ze uklad zdezaktualizuje sie wraz z modelami.
ASIC jest zoptymalizowany pod waski profil obliczen; nowe typy modeli moga slabo na nim dzialac.
Ewolucja
Pojawiaja sie pierwsze komercyjne bipolarne macierze bramkowe (Ferranti, Fairchild Micromatrix) - poczatek ukladow projektowanych pod konkretne zastosowanie.
Dojrzewaja narzedzia syntezy logicznej kompilujace opis w HDL (Verilog/VHDL) na poziomie RTL do netlisty bramek, co upowszechnia projektowanie ASIC oparte na bibliotekach komorek standardowych.
Google wdrozyl TPU v1 do inferencji we wlasnych centrach danych, uruchamiajac fale dedykowanych akceleratorow AI.
Google publikuje szczegolowa analize wydajnosci TPU (ISCA 2017) i wprowadza TPU v2 z obsluga treningu, dowodzac przewagi wydajnosc/wat dedykowanego ASIC nad GPU/CPU.
AWS oglosil Inferentia (inferencja), a nastepnie Trainium (trening); wlasne akceleratory zaczeli budowac kolejni dostawcy chmury.
Wdrozenie kolejnych generacji wlasnych ukladow: Microsoft Maia 100, AWS Trainium2 i Google TPU v5 - custom silicon staje sie standardem u dostawcow chmury.
Dostawcy modeli wchodza w custom silicon - OpenAI z Broadcom oglosili inferencyjny ASIC Jalapeno, obok Meta MTIA i Microsoft Maia.
Hiperparametry (konfigurowalne osie)
Wezel produkcyjny (np. 5 nm, 3 nm) decyduje o gestosci tranzystorow, wydajnosci energetycznej i koszcie.
Obslugiwane formaty (INT8, FP8, bfloat16, FP4) wplywaja na przepustowosc i dokladnosc obliczen.
Liczba i rozmiar jednostek mnozaco-akumulujacych determinuje szczytowa moc obliczeniowa (TOPS/FLOPS).
Ilosc i przepustowosc pamieci o wysokiej przepustowosci ograniczaja rozmiar obslugiwanych modeli oraz przepustowosc.
Przepustowosc laczy miedzy ukladami decyduje o efektywnosci skalowania do podow.
Jednorazowe koszty inzynieryjne (NRE) oraz dlugosc cyklu do tape-out wplywaja na oplacalnosc dedykowanego ukladu.
Wąskie gardło obliczeniowe
Wydajnosc akceleratorow AI jest czesto ograniczana przepustowoscia dostarczania danych (wag i aktywacji) do jednostek obliczeniowych, a nie sama moca obliczeniowa; dlatego ASIC-i AI integruja pamiec HBM oraz duze bufory on-chip (SRAM).
Paradygmat wykonania
Typowy ASIC AI wykonuje geste mnozenie macierzy - wszystkie jednostki MAC sa aktywne w kazdym cyklu; sprzet jest zoptymalizowany pod staly, przewidywalny profil obliczen.
Równoległość
Mnozenie macierzy jest masowo rownolegle; tablice systoliczne wykonuja wiele operacji MAC jednoczesnie, a szybkie interconnecty pozwalaja skalowac obliczenia na wiele ukladow (pody).