Qwen2-72B-Instruct

Qwen2-72B-Instruct to instruowany duży model językowy z rodziny Qwen2, opracowany przez zespół Qwen w Alibabie. Bazuje na modelu bazowym Qwen2-72B i został dostrojony metodami supervised fine-tuning (SFT) oraz Direct Preference Optimization (DPO). Wagi są udostępnione publicznie na licencji Tongyi Qianwen (nie Apache 2.0).

Architektura to dekoder Transformer z aktywacją SwiGLU, bias w projekcjach QKV oraz Grouped Query Attention (GQA), stosowanym we wszystkich rozmiarach Qwen2 dla większej szybkości i mniejszego zużycia pamięci. Model obsługuje okno kontekstowe do 131 072 tokenów dzięki technice YARN (ekstrapolacja długości dla wejść powyżej 32 768 tokenów). Wspiera język angielski, chiński i ponad 27 dodatkowych języków (m.in. polski, niemiecki, francuski, hiszpański, rosyjski, japoński, koreański, arabski).

W benchmarkach model osiąga m.in. 82,3 w MMLU, 64,4 w MMLU-Pro, 86,0 w HumanEval, 91,1 w GSM8K i 59,7 w MATH, przewyższając Llama-3-70B-Instruct w większości zadań wiedzy, kodowania i matematyki. Uruchomienie w precyzji BF16/FP16 wymaga wielu GPU (ok. 145 GB VRAM) lub kwantyzacji; model działa lokalnie i w chmurze przez vLLM, Ollama czy llama.cpp.