GPT-BERT

GPT-BERT to hybrydowy model językowy opracowany przez Language Technology Group na Uniwersytecie w Oslo. Łączy dwa paradygmaty uczenia w jednym stosie transformera: przyczynowe modelowanie języka (causal LM, jak w GPT) oraz maskowane modelowanie języka (masked LM, jak w BERT). Dzięki temu ten sam model może działać zarówno jako model autoregresyjny (generujący), jak i jako model maskowany (rozumiejący i klasyfikujący).

Model przedstawiono w pracy „GPT or BERT: why not both?" (Charpentier i Samuel, 2024). W konkursie BabyLM Challenge 2024 — spośród 31 zgłoszeń — hybrydowa architektura przyczynowo-maskowana przewyższyła podejścia oparte wyłącznie na masked LM lub wyłącznie na causal LM. Zgłoszenie trenowano w dwóch ścieżkach: Strict (100M słów, wariant ok. 119M parametrów) oraz Strict-Small (10M słów, wariant ok. 30M parametrów).

Oba warianty to transformery 12-warstwowe (wymiar ukryty 768 dla wariantu base, 384 dla small). Modele trenowano na mieszance korpusów w proporcji 1:1:1 (BabyLM, FineWeb-Edu i Cosmopedia) z tokenizatorem BPE. Kod udostępniono na licencji MIT w repozytorium ltgoslo/gpt-bert, a wagi na platformie Hugging Face.