Robocikowo>ROBOCIKOWO
Llama 3.1 405B
Modele AI›Llama

Llama 3.1 405B

3.1 405B · Rodzina: Llama
Otwartowagowy, gęsty model językowy Meta AI o 405 mld parametrów, oknie kontekstu 128K tokenów i obsłudze narzędzi, wydany 23 lipca 2024.
✓ Aktywny✓ Publiczny dostęp⚖ Open weightsLLMModel używający narzędzi📁 Llama
Okno kontekstowe
128K tokenów
tokenów
Parametry
405B
parametrów
Data premiery
23 lipca 2024
🏢Meta AIProducent
Dostęp:APIDownloadWdrożenie:☁ Cloud💻 Lokalnie

Przegląd

Llama 3.1 405B to największy i najzdolniejszy gęsty (dense) model językowy w rodzinie Llama 3.1, opracowany przez Meta AI i wydany 23 lipca 2024 roku jako model otwartowagowy (open-weights) na licencji Llama 3.1 Community License.

Specyfikacja

Model ma 405 miliardów parametrów. Okno kontekstowe: 128 000 tokenów. Graniczna data wiedzy: grudzień 2023. Obsługuje użycie narzędzi (tool use) oraz fine-tuning. Dostępny w wariancie bazowym (pre-trained) oraz instruction-tuned (Llama 3.1 405B Instruct).

Wyniki benchmarków (Instruct)

Według oficjalnego model card Meta na Hugging Face: MMLU 88,6% (5-shot), MMLU-Pro 73,3%, GPQA 50,7% (0-shot), MATH 73,8% (0-shot CoT), HumanEval 89,0% (0-shot Pass@1), GSM8K 96,8%, DROP 84,8% (3-shot F1, pre-trained base).

Dostępność

Wagi dostępne publicznie na Hugging Face (meta-llama/Llama-3.1-405B oraz -Instruct). Model można uruchomić lokalnie (wymaga klastra GPU klasy datacenter, np. NVIDIA H100/A100) lub korzystać poprzez dostawców API (m.in. Meta, Azure AI, AWS, Google Cloud, Databricks, Groq, Together AI).

Klasyfikacja
LLMModel używający narzędzi
Rodzina: Llama
Dostęp i wdrożenie
APIPobieranie
ChmuraLokalnie
Wagi: Open weights
Kluczowe parametry
📏 Kontekst: 128K tokenów
🧩 Parametry: 405B
✓ Narzędzia · ✓ Fine-tuning
📥 Wejście: tekst, obraz

Specyfikacja techniczna

Okno kontekstowe
128K tokenów
tokenów
Parametry
405B
parametrów
Licencja
Llama 3.1 Community License
Wymagania sprzętowe
Brak oficjalnych minimalnych wymagań. Uruchamianie lokalne wymaga klastra GPU klasy datacenter (np. NVIDIA H100 / A100).
Funkcje:✓ Używanie narzędzi✓ Fine-tuning
Modalności
⬇ Wejście (Input)
textimage
⬆ Wyjście (Output)
textcodestructured_data

Możliwości i zastosowania

Natywne możliwości modelu
Rozumowanie
Zdolność modelu do logicznego wnioskowania, analizowania zależności i wyprowadzania odpowiedzi na podstawie przesłanek.
Kategoria: reasoning
Rozumowanie wieloetapowe
Zdolność modelu do rozwiązywania problemów wymagających kilku kolejnych kroków rozumowania.
Kategoria: reasoning
Długi kontekst
Zdolność modelu do pracy na długim kontekście i utrzymywania spójności przy dużej ilości danych wejściowych.
Kategoria: reasoning
Kodowanie
Zdolność modelu do generowania, analizowania, poprawiania i wyjaśniania kodu.
Kategoria: coding
Wywoływanie funkcji
Natywne wsparcie dla ustrukturyzowanego wykorzystania narzędzi, umożliwiające przepływy pracy oparte na agentach.
Kategoria: planning
Wyjście ustrukturyzowane
Zdolność modelu do generowania odpowiedzi w uporządkowanej formie, np. JSON, list, tabel lub schematów.
Kategoria: structured_generation
Rozumienie obrazów
Zdolność modelu do analizowania i interpretowania zawartości obrazów.
Kategoria: vision
Rozumienie wykresów
Zdolność modelu do rozumienia wykresów, trendów, osi, legend i danych wizualnych.
Kategoria: vision
OCR
Zdolność modelu do odczytywania i interpretowania tekstu znajdującego się na obrazach lub skanach.
Kategoria: vision
Wielojęzyczność
Zdolność modelu do rozumienia i generowania treści w wielu językach.
Kategoria: language
Planowanie
Zdolność modelu do układania planów, sekwencji działań i uporządkowanych kroków rozwiązania.
Kategoria: planning
Wyjście strumieniowe
Wiadomości strumieniowe umożliwiają pobieranie treści w czasie rzeczywistym, gdy model generuje odpowiedzi, bez czekania na wygenerowanie całej odpowiedzi. Takie podejście może znacząco poprawić doświadczenie użytkownika, zwłaszcza podczas tworzenia długich treści tekstowych, ponieważ użytkownicy mogą od razu zobaczyć, że odpowiedź zaczyna się pojawiać.
Kategoria: reasoning

Wyniki benchmarków

7 benchmarków
MMLU
88.6
📄 Meta AI – Llama 3.1 Technical Report
GSM8K
96.8
📄 Meta AI – Llama 3.1 Technical Report
HumanEval
89.0
📄 Meta AI – Llama 3.1 Technical Report
MATH
73.8
📄 Meta AI – Llama 3.1 Technical Report
GPQA
0-shot accuracy · Instruction-tuned model (Llama 3.1 405B Instruct), 0-shot
50.7%
📄 Meta Llama 3.1 model card (Hugging Face), July 2024
MMLU-Pro
5-shot accuracy · Instruction-tuned model, 5-shot
73.3%
📄 Meta Llama 3.1 model card (Hugging Face), July 2024
DROP
3-shot F1 · Pre-trained base model (Llama 3.1 405B Base)
84.8%
📄 IBM analysis referencing Meta Llama 3.1 model card, July 2024
Wynik dotyczy modelu bazowego (pre-trained), nie instruction-tuned.

Źródła i powiązane strony