Qwen2-1.5B-Instruct

1.5B · Rodzina: Qwen

Instrukcyjny model językowy 1,5 mld parametrów z serii Qwen2 (Alibaba). Transformer z GQA i SwiGLU, okno kontekstu 32K; wagi na licencji Apache 2.0.

✓ Aktywny✓ Publiczny dostęp⚖ Open sourceLLMModel używający narzędzi📁 Qwen

Okno kontekstowe

32K

tokenów

Parametry

1.5B

parametrów

Data premiery

7 czerwca 2024

🏢AlibabaProducent 🔬QwenLab badawczy

Dostęp:DownloadAPIWdrożenie:💻 Lokalnie☁ Cloud📱 Na urządzeniu

Przegląd

Qwen2-1.5B-Instruct to instrukcyjny (chat) model językowy o ok. 1,5 mld parametrów, należący do serii Qwen2 rozwijanej przez Alibaba Cloud i opublikowany 7 czerwca 2024 r. Jest to dekoder Transformer wykorzystujący grupowaną uwagę zapytań (GQA), aktywację SwiGLU, obrót pozycyjny RoPE oraz bias QKV. Model liczy 28 warstw, wymiar ukryty 1536, 12 głów uwagi i 2 głowy klucz-wartość (GQA).

Model obsługuje okno kontekstu do 32 768 tokenów i został wytrenowany na danych wielojęzycznych (angielski, chiński oraz ok. 27 dodatkowych języków). Wariant Instruct powstał przez trening wstępny (pretraining), a następnie dostrajanie nadzorowane (SFT) i optymalizację preferencji bezpośrednich (DPO). Wagi udostępniono na licencji Apache 2.0, co pozwala na lokalne uruchamianie i dalsze dostrajanie.

Dzięki niewielkiemu rozmiarowi model nadaje się do wdrożeń lokalnych i brzegowych, a jednocześnie oferuje dobre wyniki w zadaniach rozumienia języka, kodowania, matematyki i wielojęzyczności względem wcześniejszej generacji Qwen1.5-1.8B-Chat.

Klasyfikacja

LLMModel używający narzędzi

Rodzina: Qwen

Dostęp i wdrożenie

PobieranieAPI

LokalnieChmuraNa urządzeniu

Wagi: Open source

Kluczowe parametry

📏 Kontekst: 32K

🧩 Parametry: 1.5B

✓ Narzędzia · ✓ Fine-tuning

📥 Wejście: tekst

Specyfikacja techniczna

Okno kontekstowe

32K

tokenów

Parametry

1.5B

parametrów

Licencja

Apache 2.0

Wymagania sprzętowe

Model o ok. 1,5 mld parametrów; w precyzji BF16 wymaga ok. 3–4 GB pamięci. Uruchamialny lokalnie na pojedynczym GPU konsumenckim lub CPU; skwantyzowany (INT4/GGUF) działa na urządzeniach brzegowych.

Funkcje:✓ Używanie narzędzi✓ Fine-tuning

Modalności

⬇ Wejście (Input)

text

⬆ Wyjście (Output)

textcode

Możliwości i zastosowania

Natywne możliwości modelu

Programowanie

Generowanie, analizowanie i modyfikowanie kodu w wielu językach programowania. Obejmuje pisanie funkcji, debugowanie, refaktoryzację, code review, tworzenie testów. Mierzone benchmarkami takimi jak HumanEval, SWE-bench.

Kategoria: coding

Rozumowanie

Zdolność modelu do logicznego wnioskowania i rozwiązywania złożonych problemów.

Kategoria: reasoning

Rozumowanie matematyczne

Zdolność modelu do rozwiązywania zadań matematycznych wymagających wieloetapowego rozumowania — równania, dowody, kombinatoryka, geometria, rachunek różniczkowy, zadania konkursowe.

Kategoria: reasoning

Wielojęzyczność

Kompetencje w wielu językach naturalnych (od kilku do stu+): rozumienie, generowanie, tłumaczenie, code-switching w obrębie jednej rozmowy. Modele frontier obsługują szeroki wachlarz języków ze zbliżoną jakością.

Kategoria: language

Długi kontekst

Obsługa dużych okien kontekstowych — dziesiątek do setek tysięcy (lub milionów) tokenów wejścia. Umożliwia analizę całych baz kodu, długich dokumentów, wielu równolegle rozmów bez utraty wcześniejszych informacji. GPT-5.1 wspiera 400 000 tokenów.

Kategoria: language

Przestrzeganie instrukcji

Precyzyjne wypełnianie wskazówek zawartych w prompcie: format odpowiedzi, długość, styl, ograniczenia (np. 'odpowiedz w sześciu słowach'). GPT-5.1 znacząco poprawił tę zdolność względem GPT-5.

Kategoria: language

Wywoływanie funkcji

Natywne wsparcie dla ustrukturyzowanego wykorzystania narzędzi, umożliwiające przepływy pracy oparte na agentach.

Kategoria: planning

Wyniki benchmarków

5 benchmarków

MMLU

accuracy

52.4%