Llama 2 7B

Llama 2 7B to bazowy (pretrained) model językowy z rodziny Llama 2 opracowanej przez Meta, opublikowany 18 lipca 2023 roku. Jest to najmniejszy wariant rodziny, z 7 miliardami parametrów, wytrenowany na 2 bilionach tokenów publicznie dostępnych danych. Model korzysta z autoregresyjnej architektury transformera dekodera z RMSNorm, kodowaniem pozycyjnym RoPE oraz aktywacją SwiGLU. Wariant 7B stosuje standardową uwagę wielogłowicową (MHA) — grupowana uwaga zapytań (GQA) występuje tylko w większych wariantach 34B i 70B.

Jest to wariant bazowy, bez dostrajania instrukcyjnego (SFT) i bez uczenia ze wzmocnieniem na podstawie opinii ludzi (RLHF) — te techniki zastosowano wyłącznie w wersjach Llama 2 Chat. Model bazowy przeznaczony jest głównie do uzupełniania tekstu oraz jako punkt wyjścia do własnego fine-tuningu. Okno kontekstowe wynosi 4096 tokenów, a data graniczna wiedzy to wrzesień 2022. Wagi są udostępniane na licencji Llama 2 Community License (open weights, dozwolone zastosowania komercyjne z ograniczeniami).