Llama 3.2 1B

3.2 1B · Rodzina: Llama

Lekki, tekstowy model jezykowy Meta (1,23 mld parametrow) z oknem 128K tokenow, zoptymalizowany pod urzadzenia brzegowe i mobilne.

✓ Aktywny✓ Publiczny dostęp⚖ Open weightsLLM📁 Llama

Okno kontekstowe

128K

tokenów

Parametry

1.23B

parametrów

Data premiery

25 września 2024

🏢Meta AIProducent

Dostęp:DownloadAPIWdrożenie:💻 Lokalnie☁ Cloud📱 Na urządzeniu

Przegląd

Llama 3.2 1B to lekki, tekstowy model jezykowy opracowany przez Meta, wprowadzony 25 wrzesnia 2024 roku. Ma okolo 1,23 miliarda parametrow i okno kontekstowe 128 tysiecy tokenow. Powstal przez strukturalne przycinanie (pruning) oraz destylacje wiedzy z wiekszych modeli Llama 3.1 8B i 70B.

Wykorzystuje autoregresyjna architekture transformera z mechanizmem Grouped-Query Attention (GQA) i wspoldzielonymi embeddingami. Po treningu wstepnym przeszedl dostrajanie: nadzorowane dostrajanie (SFT), rejection sampling oraz bezposrednia optymalizacje preferencji (DPO).

Oficjalnie wspiera osiem jezykow (angielski, niemiecki, francuski, wloski, portugalski, hindi, hiszpanski i tajski) oraz wywolywanie narzedzi. Zaprojektowany z mysla o urzadzeniach brzegowych i mobilnych - Meta udostepnila go we wspolpracy z Qualcomm, MediaTek i Arm. Data graniczna wiedzy modelu to grudzien 2023. Udostepniany na licencji Llama 3.2 Community License.

Klasyfikacja

LLM

Rodzina: Llama

Zastosowania

Chatboty Streszczanie Autonomiczne workflow agentowe

Dostęp i wdrożenie

PobieranieAPI

LokalnieChmuraNa urządzeniu

Wagi: Open weights

Kluczowe parametry

📏 Kontekst: 128K

🧩 Parametry: 1.23B

✓ Narzędzia · ✓ Fine-tuning

📥 Wejście: tekst

Specyfikacja techniczna

Okno kontekstowe

128K

tokenów

Parametry

1.23B

parametrów

Knowledge cutoff

1 gru 2023

Data graniczna wiedzy

Licencja

Llama 3.2 Community License

Wymagania sprzętowe

Zoptymalizowany pod urzadzenia brzegowe i mobilne (Qualcomm, MediaTek, procesory Arm). Wagi w formacie BF16; dostepne tez warianty skwantyzowane.

Funkcje:✓ Używanie narzędzi✓ Fine-tuning

Modalności

⬇ Wejście (Input)

text

⬆ Wyjście (Output)

textcode

Możliwości i zastosowania

Natywne możliwości modelu

Wielojęzyczność

Kompetencje w wielu językach naturalnych (od kilku do stu+): rozumienie, generowanie, tłumaczenie, code-switching w obrębie jednej rozmowy. Modele frontier obsługują szeroki wachlarz języków ze zbliżoną jakością.

Kategoria: language

Użycie narzędzi

Zdolność modelu do wywoływania zewnętrznych funkcji, API i narzędzi w trakcie rozmowy: kalkulator, wyszukiwarka, edytor kodu, baza danych. Model decyduje kiedy i jak użyć narzędzia oraz interpretuje jego wynik.

Kategoria: planning

Przestrzeganie instrukcji

Precyzyjne wypełnianie wskazówek zawartych w prompcie: format odpowiedzi, długość, styl, ograniczenia (np. 'odpowiedz w sześciu słowach'). GPT-5.1 znacząco poprawił tę zdolność względem GPT-5.

Kategoria: language

Długi kontekst

Obsługa dużych okien kontekstowych — dziesiątek do setek tysięcy (lub milionów) tokenów wejścia. Umożliwia analizę całych baz kodu, długich dokumentów, wielu równolegle rozmów bez utraty wcześniejszych informacji. GPT-5.1 wspiera 400 000 tokenów.

Kategoria: language

Modelowanie języka

Zdolność przewidywania kolejnych tokenów i generowania spójnego tekstu w języku naturalnym na podstawie poprzedzającego kontekstu.

Kategoria: language

Generowanie wspomagane wyszukiwaniem (RAG)

Zdolność modelu do generowania odpowiedzi w oparciu o pobrane dokumenty/dane, z ugruntowaniem treści i wskazaniem źródeł (cytowań).

Kategoria: language

Dziedziny zastosowań

Chatboty Streszczanie Autonomiczne workflow agentowe