O rodzinie
Llama 3 to trzecia generacja dużych modeli językowych Meta, zaprezentowana 18 kwietnia 2024 r. Rodzina obejmuje modele o 8 mld i 70 mld parametrów, w wariantach bazowym (pretrained) oraz instrukcyjnym (Instruct). Modele wykorzystują architekturę dekodera transformera z mechanizmem grouped-query attention (GQA), tokenizer o słowniku 128 tys. tokenów oraz zostały wstępnie wytrenowane na ponad 15 bln tokenów. Wagi udostępniono na licencji Meta Llama 3 Community License.