Llama 2 7B Chat

Llama 2 7B Chat to najmniejszy z modeli konwersacyjnych rodziny Llama 2 opracowanej przez Meta i udostępnionej w lipcu 2023 roku. Opiera się na autoregresywnej architekturze Transformer z 7 miliardami parametrów, wytrenowanej na około 2 bilionach tokenów danych tekstowych, z danymi granicznymi wiedzy z września 2022 roku.

Wariant Chat powstał przez dostrojenie modelu bazowego: nadzorowane dostrajanie na instrukcjach (SFT) oraz uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF), co optymalizuje model pod kątem dialogu, pomocności i bezpieczeństwa. Model przyjmuje i generuje wyłącznie tekst, z oknem kontekstu 4096 tokenów.

Wagi modelu są otwarte (open weights) i udostępniane na licencji Llama 2 Community License, która zezwala na użycie komercyjne z ograniczeniami (m.in. próg 700 mln aktywnych użytkowników miesięcznie) i nie jest licencją zatwierdzoną przez OSI jako open source. Wariant 7B, w odróżnieniu od 34B i 70B, nie stosuje mechanizmu Grouped-Query Attention.