Qwen3-4B

Qwen3-4B to otwarty (Apache 2.0) model językowy (LLM) należący do serii Qwen3 opracowanej przez zespół Qwen w Alibaba Cloud, udostępniony 29 kwietnia 2025 roku. Jest to gęsty (dense) model o 4,0 mld parametrów (3,6 mld bez warstwy embeddingów), zbudowany na architekturze Transformer z Grouped Query Attention (32 głowy zapytań i 8 głów klucz-wartość), SwiGLU, RoPE oraz RMSNorm z pre-normalizacją, stabilizacją QK-Norm i 36 warstwami.

Cechą wyróżniającą serię Qwen3 jest hybrydowy tryb pracy: model przełącza się między trybem „myślenia" (thinking) do złożonego rozumowania, matematyki i kodowania a trybem bez myślenia (non-thinking) do szybkiego, ogólnego dialogu. Natywne okno kontekstowe wynosi 32 768 tokenów i może być rozszerzone do 131 072 tokenów za pomocą techniki YaRN. Model obsługuje ponad 100 języków i dialektów oraz wywoływanie narzędzi (tool use) w obu trybach.

Qwen3 był trenowany na około 36 bilionach tokenów w 119 językach, a post-trening obejmował czteroetapowy potok: rozgrzewkę na długich łańcuchach rozumowania (long CoT cold start), uczenie ze wzmocnieniem nastawione na rozumowanie, fuzję trybów myślenia oraz ogólne uczenie ze wzmocnieniem. Według producenta nawet niewielki Qwen3-4B może dorównywać wynikom Qwen2.5-72B-Instruct. Wagi są dostępne na licencji Apache 2.0, co pozwala na lokalne uruchamianie, dostrajanie i użycie komercyjne.