Robocikowo>ROBOCIKOWO
Llama 3 8B Instruct
Modele AI›Llama

Llama 3 8B Instruct

3 (8B, Instruct) · Rodzina: Llama
Otwartomodelowy LLM Meta (8 mld parametrów) w wariancie instruowanym, dostrojony metodami SFT i RLHF. Kontekst 8K, tokenizer 128K, trening na ponad 15 bln tokenów.
✓ Aktywny✓ Publiczny dostęp⚖ Open weightsLLM📁 Llama
Okno kontekstowe
8K
tokenów
Parametry
8B
parametrów
Data premiery
18 kwietnia 2024
🏢Meta AIProducent
Dostęp:DownloadAPIHostedWdrożenie:💻 Lokalnie☁ Cloud📱 Na urządzeniu

Przegląd

Llama 3 8B Instruct to instruowany model językowy Meta udostępniony 18 kwietnia 2024 roku. Należy do pierwszej generacji Llama 3 i jest autoregresyjnym modelem opartym na zoptymalizowanej architekturze Transformer. Wariant Instruct został dostrojony pod dialog metodami nadzorowanego dostrajania (SFT) oraz uczenia ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF).

Model liczy 8 miliardów parametrów, obsługuje okno kontekstowe 8192 tokenów i korzysta z mechanizmu Grouped Query Attention (GQA) oraz tokenizera o słowniku 128 000 tokenów. Został wstępnie wytrenowany na ponad 15 bilionach tokenów z publicznie dostępnych źródeł, z datą graniczną wiedzy w marcu 2023 roku.

Wagi udostępniane są na licencji Meta Llama 3 Community License, co pozwala na lokalne uruchamianie, dostrajanie i wdrożenia komercyjne w granicach warunków licencji.

Klasyfikacja
LLM
Rodzina: Llama
Dostęp i wdrożenie
PobieranieAPIHostowane
LokalnieChmuraNa urządzeniu
Wagi: Open weights
Kluczowe parametry
📏 Kontekst: 8K
🧩 Parametry: 8B
✓ Fine-tuning
📥 Wejście: tekst

Specyfikacja techniczna

Okno kontekstowe
8K
tokenów
Parametry
8B
parametrów
Knowledge cutoff
1 mar 2023
Data graniczna wiedzy
Licencja
Meta Llama 3 Community License
Wymagania sprzętowe
Wariant 8B w precyzji FP16/BF16 wymaga ok. 16 GB pamięci; z kwantyzacją (np. 4-bit) uruchamialny na pojedynczej konsumenckiej karcie GPU.
Funkcje:✓ Fine-tuning
Modalności
⬇ Wejście (Input)
text
⬆ Wyjście (Output)
textcode

Możliwości i zastosowania

Natywne możliwości modelu
Modelowanie języka
Zdolność przewidywania kolejnych tokenów i generowania spójnego tekstu w języku naturalnym na podstawie poprzedzającego kontekstu.
Kategoria: language
Programowanie
Generowanie, analizowanie i modyfikowanie kodu w wielu językach programowania. Obejmuje pisanie funkcji, debugowanie, refaktoryzację, code review, tworzenie testów. Mierzone benchmarkami takimi jak HumanEval, SWE-bench.
Kategoria: coding
Rozumowanie
Zdolność modelu do logicznego wnioskowania i rozwiązywania złożonych problemów.
Kategoria: reasoning

Wyniki benchmarków

5 benchmarków
MMLU
accuracy · 5-shot
68.4%
📄 Hugging Face model card
GPQA
accuracy · 0-shot
34.2%
📄 Hugging Face model card
HumanEval
pass@1 · 0-shot
62.2%
📄 Hugging Face model card
GSM8K
accuracy · 8-shot, CoT
79.6%
📄 Hugging Face model card
MATH
accuracy · 4-shot, CoT
30.0%
📄 Hugging Face model card

Architektura techniczna

Rdzeń architektury (Core Architecture)
TRTransformerGQGQARORoPERMRMSNormSWSwiGLU
Forma modelu (Model Form)
LLLLM
Techniki trenowania (Training Techniques)
PRPretrainingSFSFTRLRLHFITInstruction Tuning

Źródła i powiązane strony