GPT-3

GPT-3 (Generative Pre-trained Transformer 3) to autoregresywny model językowy OpenAI zaprezentowany w maju 2020 w pracy „Language Models are Few-Shot Learners” (Brown i in.). Największy wariant liczy 175 miliardów parametrów — dziesięciokrotnie więcej niż jakikolwiek wcześniejszy gęsty model językowy.

Kluczowym wnioskiem pracy było to, że samo skalowanie modelu radykalnie poprawia uczenie „w locie”: GPT-3 wykonuje nowe zadania wyłącznie na podstawie instrukcji i kilku przykładów podanych w prompcie (few-shot / in-context learning), bez żadnych aktualizacji gradientów ani dostrajania wag.

Architektura to dekoder Transformera (96 warstw w wariancie 175B) z oknem kontekstu 2048 tokenów, trenowany metodą samonadzorowaną na ok. 300 mld tokenów z Common Crawl, WebText2, korpusów książkowych i Wikipedii. Wagi są zamknięte (closed weights), a model był udostępniany wyłącznie przez API OpenAI.

GPT-3 spopularyzował paradygmat „prompting zamiast fine-tuningu” i stał się fundamentem produktów takich jak ChatGPT oraz późniejszych rodzin GPT-3.5 i GPT-4. Oryginalne modele completions (davinci, curie, babbage, ada) zostały przez OpenAI wycofane (deprecated).