K2 Horizon MoVA 36B-A4B

K2 Horizon MoVA 36B-A4B to rzadki (sparse) wariant z rodziny modeli K2 Horizon opracowanej przez Institute of Foundation Models (IFM). Model wykorzystuje architekture Mixture-of-Experts (MoE) z mechanizmem atencji Mixture-of-Values (MoVA): przechowuje 36 mld parametrow, a na kazdy token aktywuje okolo 4 mld.

Model oferuje natywne okno kontekstowe 524 288 tokenow (512K) od etapu midtrainingu. Dziala w trybie tekstowym (wejscie i wyjscie), wspiera rozumowanie (reasoning) sterowane parametrem reasoning effort oraz uzycie narzedzi w scenariuszach agentowych. Wagi udostepniono na licencji Apache 2.0, a dane treningowe, przepis i kod treningowy maja zostac opublikowane.

Model jest serwowany m.in. przez vLLM i SGLang w precyzji BF16; udostepniono takze kwantyzacje GGUF (llama.cpp, Ollama, LM Studio, Jan). Zglaszane wyniki uzyskano przy wysokim poziomie reasoning effort.