Llama 3.1 70B

3.1 70B · Rodzina: Llama

Wielojęzyczny model językowy Meta (70 mld parametrów) z rodziny Llama 3.1, okno kontekstu 128K, licencja Llama 3.1 Community License.

✓ Aktywny✓ Publiczny dostęp⚖ Open weightsLLM📁 Llama

Okno kontekstowe

128K

tokenów

Parametry

70B

parametrów

Data premiery

23 lipca 2024

🏢Meta AIProducent

Dostęp:DownloadAPIHostedWdrożenie:💻 Lokalnie☁ Cloud

Przegląd

Llama 3.1 70B to autoregresyjny, wielojęzyczny model językowy opracowany przez Meta, wydany 23 lipca 2024 roku jako część rodziny Llama 3.1 (obok wariantów 8B i 405B). Model liczy 70 miliardów parametrów i wykorzystuje zoptymalizowaną architekturę transformera z mechanizmem Grouped-Query Attention (GQA), kodowaniem pozycyjnym RoPE (theta 500 000), normalizacją RMSNorm oraz aktywacją SwiGLU.

Architektura wariantu 70B obejmuje 80 warstw, wymiar ukryty 8192, 64 głowice uwagi i 8 głowic klucz-wartość (KV), przy słowniku o rozmiarze 128 256 tokenów. Model obsługuje okno kontekstu 128 000 tokenów. Został wytrenowany na ponad 15 bilionach tokenów danych publicznie dostępnych, z granicą wiedzy w grudniu 2023 roku.

Oficjalnie wspiera osiem języków: angielski, niemiecki, francuski, włoski, portugalski, hindi, hiszpański i tajski. Wersja pretrenowana (base) służy jako fundament do dostrajania (fine-tuning) do zadań generowania tekstu, natomiast wariant instrukcyjny jest przeznaczony do zastosowań konwersacyjnych i obsługuje wywoływanie narzędzi.

Wagi modelu są publicznie dostępne na licencji Llama 3.1 Community License, która zezwala na komercyjne i badawcze użycie z określonymi ograniczeniami (m.in. próg 700 mln aktywnych użytkowników miesięcznie wymagający osobnej zgody Meta).

Klasyfikacja

LLM

Rodzina: Llama

Dostęp i wdrożenie

PobieranieAPIHostowane

LokalnieChmura

Wagi: Open weights

Kluczowe parametry

📏 Kontekst: 128K

🧩 Parametry: 70B

✓ Narzędzia · ✓ Fine-tuning

📥 Wejście: tekst

Specyfikacja techniczna

Okno kontekstowe

128K

tokenów

Parametry

70B

parametrów

Knowledge cutoff

1 gru 2023

Data graniczna wiedzy

Licencja

Llama 3.1 Community License

Wymagania sprzętowe

W precyzji BF16 model wymaga ok. 140 GB pamięci (2 bajty na parametr), zwykle 2× GPU 80 GB (np. NVIDIA A100/H100). Kwantyzacja do 4 bitów redukuje wymaganie do ~35–40 GB, co umożliwia uruchomienie na pojedynczym GPU wysokiej klasy.

Funkcje:✓ Używanie narzędzi✓ Fine-tuning

Modalności

⬇ Wejście (Input)

text

⬆ Wyjście (Output)

textcode

Możliwości i zastosowania

Natywne możliwości modelu

Rozumowanie

Zdolność modelu do logicznego wnioskowania i rozwiązywania złożonych problemów.

Kategoria: reasoning

Rozumowanie wieloetapowe

Prowadzenie wieloetapowego toku rozumowania w długich, złożonych zadaniach.

Kategoria: reasoning

Długi kontekst

Obsługa dużych okien kontekstowych — dziesiątek do setek tysięcy (lub milionów) tokenów wejścia. Umożliwia analizę całych baz kodu, długich dokumentów, wielu równolegle rozmów bez utraty wcześniejszych informacji. GPT-5.1 wspiera 400 000 tokenów.

Kategoria: language

Programowanie

Generowanie, analizowanie i modyfikowanie kodu w wielu językach programowania. Obejmuje pisanie funkcji, debugowanie, refaktoryzację, code review, tworzenie testów. Mierzone benchmarkami takimi jak HumanEval, SWE-bench.

Kategoria: coding

Wielojęzyczność

Kompetencje w wielu językach naturalnych (od kilku do stu+): rozumienie, generowanie, tłumaczenie, code-switching w obrębie jednej rozmowy. Modele frontier obsługują szeroki wachlarz języków ze zbliżoną jakością.

Kategoria: language

Przestrzeganie instrukcji

Precyzyjne wypełnianie wskazówek zawartych w prompcie: format odpowiedzi, długość, styl, ograniczenia (np. 'odpowiedz w sześciu słowach'). GPT-5.1 znacząco poprawił tę zdolność względem GPT-5.

Kategoria: language

Użycie narzędzi

Zdolność modelu do wywoływania zewnętrznych funkcji, API i narzędzi w trakcie rozmowy: kalkulator, wyszukiwarka, edytor kodu, baza danych. Model decyduje kiedy i jak użyć narzędzia oraz interpretuje jego wynik.

Kategoria: planning

Modelowanie języka

Zdolność przewidywania kolejnych tokenów i generowania spójnego tekstu w języku naturalnym na podstawie poprzedzającego kontekstu.

Kategoria: language

Wyniki benchmarków

12 benchmarków

MMLU

macro_avg/acc_char · 5-shot

79.3%