Llama 2 13B

Llama 2 13B to model językowy o 13 miliardach parametrów, należący do rodziny Llama 2 opracowanej przez Meta AI i udostępnionej 18 lipca 2023 roku. Jest to autoregresyjny model oparty na architekturze transformera w wariancie dekodera.

Model wykorzystuje warstwy normalizacji RMSNorm, funkcję aktywacji SwiGLU oraz rotacyjne osadzenia pozycyjne (RoPE). W odróżnieniu od największego wariantu 70B, wersje 7B i 13B stosują klasyczną wielogłowicową uwagę (Multi-Head Attention), a nie Grouped-Query Attention.

Model bazowy trenowano na około 2 bilionach tokenów publicznie dostępnych danych, z oknem kontekstu 4096 tokenów i granicą wiedzy przypadającą na wrzesień 2022 roku. Wariant Llama 2-Chat dostrojono metodami nadzorowanego fine-tuningu (SFT) oraz uczenia ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF).

Wagi modelu są dostępne do pobrania na licencji Llama 2 Community License, która dopuszcza zastosowania komercyjne z ograniczeniami określonymi w polityce dopuszczalnego użycia.