MoVA rozszerza routing ekspertów w stylu MoE na mechanizm multi-head attention. W warstwie uwagi dostępnych jest wielu ekspertów odpowiedzialnych za obliczanie wartości (values), a router dla każdego tokenu aktywuje tylko ich niewielki podzbiór — analogicznie do tego, jak router MoE wybiera podzbiór ekspertów feed-forward. Pozostałe elementy uwagi (obliczanie wag uwagi i łączenie kontekstu) działają jak w standardowym transformerze, dzięki czemu MoVA pozostaje kompatybilna z FlashAttention, grouped-query attention oraz sparse attention. W modelu 36B-A4B daje to 36 mld parametrów całkowitych przy ok. 4 mld aktywnych na token. W rodzinie K2 Horizon MoVA jest łączona z warstwami feed-forward typu MoE.
Konwencjonalne architektury MoE stosują rzadkość niemal wyłącznie w warstwach feed-forward, pozostawiając warstwę uwagi gęstą (dense). Ogranicza to możliwości skalowania pojemności modelu, ponieważ uwaga — decydująca o tym, jak transformer łączy informacje z całego kontekstu — nie korzysta z warunkowego aktywowania ekspertów. MoVA adresuje to ograniczenie, wprowadzając rzadkość również do uwagi, co pozwala zwiększać całkowitą pojemność modelu przy utrzymaniu niskiej liczby aktywnych parametrów na token.
Rozszerzają zasadę MoE na uwagę: zamiast jednej gęstej projekcji wartości dostępnych jest wielu ekspertów, spośród których routowany jest podzbiór.
Odpowiednik routera MoE przeniesiony do warstwy uwagi; steruje warunkową aktywacją ekspertów, utrzymując stały koszt na token.
3 września 2026 IFM wypuszcza K2 Horizon; wariant 36B-A4B wyposażony w MoVA rozszerza routing ekspertów na warstwę uwagi. Wydanie na licencji Apache 2.0.
Łączna liczba parametrów modelu (rzadkiego).
Liczba parametrów faktycznie aktywowanych dla pojedynczego tokenu.
Natywna długość kontekstu obsługiwana przez model.
Router aktywuje dla każdego tokenu tylko podzbiór ekspertów wartości, przenosząc warunkową aktywację MoE do mechanizmu uwagi.
Rekomendowane serwowanie na GPU: BF16, backend FlashAttention-3 oraz równoległość tensorowa (TP) i ekspertowa (EP).
