Llama 2 70B

Llama 2 70B to otwarty duży model językowy (LLM) opracowany przez Meta AI — największy wariant rodziny Llama 2 z około 70 miliardami parametrów. Został udostępniony 18 lipca 2023 roku wraz z mniejszymi wariantami 7B i 13B.

Model wykorzystuje architekturę dekodera Transformer z normalizacją RMSNorm, funkcją aktywacji SwiGLU oraz obrotowymi osadzeniami pozycyjnymi (RoPE). Warianty 34B i 70B stosują dodatkowo Grouped-Query Attention (GQA) dla lepszej skalowalności inferencji. Okno kontekstu wynosi 4096 tokenów, a model wstępnie wytrenowano na 2 bilionach tokenów publicznie dostępnych danych.

Wariant Llama 2-Chat 70B, zoptymalizowany do dialogu, dostrojono metodami nadzorowanego dostrajania (SFT) oraz uczenia ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF). Wagi modelu są dostępne do pobrania na licencji Llama 2 Community License, która zezwala na użycie komercyjne z ograniczeniami dla usług o ponad 700 mln aktywnych użytkowników miesięcznie.