Active Parameters
Jak działa
W warstwie MoE sieć bramkująca (router) ocenia token i wybiera dla niego k ekspertów z puli N (np. top-2 z 8). Obliczenie przechodzi tylko przez wybranych ekspertów plus wagi zawsze aktywne (atencja, embeddingi, ewentualni eksperci współdzieleni). Liczba aktywnych parametrów to suma wag użytych na tej ścieżce; koszt FLOPs na token jest w przybliżeniu proporcjonalny do niej. Całkowite parametry to suma wag wszystkich ekspertów — wszystkie muszą być w pamięci, nawet jeśli dany token ich nie użyje. Stąd rozdział: koszt obliczeń ~ aktywne parametry, koszt pamięci ~ total parametry.
Rozwiązany problem
Pozwala skalować pojemność modelu (więcej parametrów = więcej wiedzy) bez proporcjonalnego wzrostu kosztu obliczeniowego inferencji. Rozwiązuje też problem mylącego porównywania modeli: samo „total params" zawyża oczekiwany koszt modeli MoE.
Komponenty
Wszystkie wagi modelu, w tym wszyscy eksperci. Determinuje koszt pamięci/VRAM niezależnie od tego, ile jest aktywne na token.
Wybiera dla każdego tokena podzbiór ekspertów (top-k), decydując które parametry stają się aktywne.
Wybrane bloki feed-forward faktycznie wykonujące obliczenie dla danego tokena.
Atencja, embeddingi i ewentualni eksperci współdzieleni — liczone do aktywnych parametrów dla każdego tokena.
Implementacja
Porównywanie modeli MoE i gęstych po total params zawyża oczekiwany koszt obliczeniowy MoE; po active params — zaniża wymagania pamięci.
Mimo niskich aktywnych parametrów wszyscy eksperci muszą być w VRAM; naiwne szacowanie pamięci z active params jest błędne.
Różne raporty wliczają lub pomijają atencję, embeddingi i ekspertów współdzielonych, więc liczby bywają nieporównywalne.
Słaby balans obciążenia routera sprawia, że efektywny koszt i jakość odbiegają od nominalnej liczby aktywnych parametrów.
Ewolucja
Shazeer i in. wprowadzają rzadko-bramkowaną warstwę MoE: tylko podzbiór sieci jest aktywny na przykład, rozdzielając pojemność od kosztu.
Model rzadki o „ogromnej liczbie parametrów, lecz stałym koszcie obliczeniowym"; skalowanie do bilionów parametrów przy stałym compute.
Otwarty model SMoE: dostęp do 47 mld parametrów, ale tylko 13 mld aktywnych w inferencji (8 ekspertów, top-2).
Duży model MoE z 671 mld parametrów total i 37 mld aktywnych na token.
Scout (109 mld total, 16 ekspertów) i Maverick (400 mld total, 128 ekspertów) mają po 17 mld aktywnych parametrów na token.
Hiperparametry (konfigurowalne osie)
Rozmiar puli ekspertów; zwiększa total parametry, nie zmieniając bezpośrednio aktywnych.
Ilu ekspertów aktywuje się na token; wprost wyznacza liczbę aktywnych parametrów.
Liczba parametrów pojedynczego eksperta (FFN); skaluje i total, i aktywne.
Eksperci aktywni dla każdego tokena; dokładają się do stałej części aktywnych parametrów.
Złożoność obliczeniowa
Złożoność czasowa: O(P_active) per token. Złożoność przestrzenna: O(P_total).
Paradygmat wykonania
Aktywne parametry są pojęciem sensownym tylko przy aktywacji warunkowej/rzadkiej; w modelach gęstych active = total.
Router wybiera k ekspertów na token, co bezpośrednio wyznacza zbiór aktywnych parametrów.
Równoległość
Eksperci mogą być rozproszeni między urządzenia (expert parallelism); które są aktywne, zależy od routingu danego tokena.
Wymagania sprzętowe
Niskie aktywne parametry dają wysoką przepustowość compute na token, ale total parametry wymagają dużej pamięci VRAM — model często memory-bound.