GenAI
Jak działa
Modele generatywne uczą się (zwykle w trybie samonadzorowanym) rozkładu danych z ogromnych korpusów, minimalizując funkcję straty zależną od rodziny modelu. LLM przewidują kolejny token autoregresyjnie; modele dyfuzyjne uczą się odwracać proces stopniowego dodawania szumu, aby z losowego szumu odtworzyć próbkę; GAN trenują parę sieci — generator i dyskryminator — w grze przeciwstawnej; VAE kodują dane do przestrzeni latentnej i dekodują z niej nowe próbki. Po treningu generowanie polega na próbkowaniu z wyuczonego rozkładu, często sterowanym warunkiem wejściowym (prompt, klasa, obraz). Nowoczesne systemy budowane są na modelach fundamentowych, wstępnie trenowanych na szeroką skalę i dostrajanych lub sterowanych promptami do konkretnych zadań.
Rozwiązany problem
Klasyczne uczenie maszynowe koncentrowało się na zadaniach dyskryminacyjnych (klasyfikacja, regresja, detekcja) i nie potrafiło tworzyć nowych, spójnych treści. Generatywna AI rozwiązuje problem syntezy danych — pozwala automatycznie wytwarzać realistyczny tekst, obrazy czy dźwięk, uzupełniać brakujące dane oraz generować syntetyczne zbiory treningowe tam, gdzie rzeczywiste dane są rzadkie lub kosztowne.
Implementacja
Modele generatywne mogą produkować treści brzmiące wiarygodnie, ale faktograficznie błędne.
Modele odtwarzają i wzmacniają uprzedzenia obecne w danych treningowych.
Brak jednej obiektywnej metryki jakości generacji utrudnia porównania i kontrolę.
Trening i serwowanie dużych modeli generatywnych wymaga znacznych zasobów obliczeniowych i energii.
Ewolucja
Kingma i Welling wprowadzają VAE — probabilistyczny model latentny do generowania danych.
Goodfellow i in. proponują trening pary sieci w grze przeciwstawnej, dając wysokiej jakości syntezę obrazów.
Mechanizm uwagi (self-attention) staje się podstawą skalowalnych modeli generatywnych języka.
DDPM czyni dyfuzję konkurencyjną wobec GAN, a GPT-3 (175 mld parametrów) pokazuje uczenie few-shot na dużą skalę.
Publiczne produkty generatywne trafiają do masowego odbiorcy, wywołując gwałtowny wzrost zainteresowania i wdrożeń.
Wymagania sprzętowe
Trening i inferencja dużych modeli generatywnych opierają się na masowym mnożeniu macierzy, idealnym dla rdzeni tensorowych GPU.
TPU efektywnie realizują operacje macierzowe modeli generatywnych na dużą skalę.