MoVA
Jak działa
MoVA rozszerza routing ekspertów w stylu MoE na mechanizm multi-head attention. W warstwie uwagi dostępnych jest wielu ekspertów odpowiedzialnych za obliczanie wartości (values), a router dla każdego tokenu aktywuje tylko ich niewielki podzbiór — analogicznie do tego, jak router MoE wybiera podzbiór ekspertów feed-forward. Pozostałe elementy uwagi (obliczanie wag uwagi i łączenie kontekstu) działają jak w standardowym transformerze, dzięki czemu MoVA pozostaje kompatybilna z FlashAttention, grouped-query attention oraz sparse attention. W modelu 36B-A4B daje to 36 mld parametrów całkowitych przy ok. 4 mld aktywnych na token. W rodzinie K2 Horizon MoVA jest łączona z warstwami feed-forward typu MoE.
Rozwiązany problem
Konwencjonalne architektury MoE stosują rzadkość niemal wyłącznie w warstwach feed-forward, pozostawiając warstwę uwagi gęstą (dense). Ogranicza to możliwości skalowania pojemności modelu, ponieważ uwaga — decydująca o tym, jak transformer łączy informacje z całego kontekstu — nie korzysta z warunkowego aktywowania ekspertów. MoVA adresuje to ograniczenie, wprowadzając rzadkość również do uwagi, co pozwala zwiększać całkowitą pojemność modelu przy utrzymaniu niskiej liczby aktywnych parametrów na token.
Komponenty
Rozszerzają zasadę MoE na uwagę: zamiast jednej gęstej projekcji wartości dostępnych jest wielu ekspertów, spośród których routowany jest podzbiór.
Odpowiednik routera MoE przeniesiony do warstwy uwagi; steruje warunkową aktywacją ekspertów, utrzymując stały koszt na token.
Standardowy blok multi-head attention transformera: oblicza wagi uwagi i agreguje kontekst. To w niego wbudowany jest routing ekspertow MoVA nad wartosciami (values), przy zachowaniu zgodnosci z FlashAttention, GQA i sparse attention.
Rzadkie (sparse) warstwy feed-forward w stylu MoE, stosowane w rodzinie K2 Horizon obok MoVA. Wnosza klasyczna rzadkosc MoE w sieci feed-forward, podczas gdy MoVA wnosi rzadkosc do warstwy uwagi.
Implementacja
Serwowanie K2 Horizon MoVA wymaga override'u xllm_source_router_gemm_partitions, ktory zachowuje numeryke routera z checkpointu. Pominiecie go moze zmienic decyzje routingu ekspertow i pogorszyc jakosc wyjscia.
Model korzysta z niestandardowego kodu architektury (custom_code), wiec ladowanie przez biblioteki HF wymaga trust_remote_code=True. Bez tego architektura MoVA nie zostanie poprawnie zbudowana.
Ewolucja
3 września 2026 IFM wypuszcza K2 Horizon; wariant 36B-A4B wyposażony w MoVA rozszerza routing ekspertów na warstwę uwagi. Wydanie na licencji Apache 2.0.
Hiperparametry (konfigurowalne osie)
Łączna liczba parametrów modelu (rzadkiego).
Liczba parametrów faktycznie aktywowanych dla pojedynczego tokenu.
Natywna długość kontekstu obsługiwana przez model.
Paradygmat wykonania
Router aktywuje dla każdego tokenu tylko podzbiór ekspertów wartości, przenosząc warunkową aktywację MoE do mechanizmu uwagi.
Równoległość
Zweryfikowany przepis serwowania używa równoległości tensorowej (TP=2) i ekspertowej (EP=2).
Wymagania sprzętowe
Rekomendowane serwowanie na GPU: BF16, backend FlashAttention-3 oraz równoległość tensorowa (TP) i ekspertowa (EP).