GPT-2

GPT-2 (Generative Pre-trained Transformer 2) to autoregresyjny model językowy opracowany przez OpenAI, ogłoszony 14 lutego 2019 roku. Największy wariant liczy około 1,5 miliarda parametrów; wydano też mniejsze warianty o 124M, 355M i 774M parametrów. Model wykorzystuje architekturę Transformer typu decoder-only (największa wersja: 48 warstw, wymiar ukryty 1600) z długością kontekstu 1024 tokenów i słownikiem 50 257 tokenów kodowanych metodą byte-level BPE.

GPT-2 wytrenowano na zbiorze WebText - około 40 GB tekstu z 8 milionów stron internetowych linkowanych z Reddita (posty z co najmniej 3 karma sprzed grudnia 2017). Model uczono metodą samonadzorowanego przewidywania kolejnego tokenu (causal language modeling), bez fine-tuningu pod konkretne zadania. W publikacji „Language Models are Unsupervised Multitask Learners" pokazano, że w trybie zero-shot GPT-2 osiąga stan sztuki na 7 z 8 testowanych zbiorów modelowania języka.

OpenAI zastosowało strategię stopniowego udostępniania (staged release) ze względu na obawy o nadużycia: początkowo opublikowano tylko najmniejszy model, model 774M udostępniono 20 sierpnia 2019, a pełne wagi wariantu 1,5B wydano 5 listopada 2019 na licencji Modified MIT.