Robocikowo>ROBOCIKOWO
Architektura

Active Parameters

2017AktywnyOpublikowano: 18 listopada 2026Aktualizacja: 18 listopada 2026Opublikowany
Liczba parametrów faktycznie użytych do przetworzenia jednego tokena w modelu MoE, w odróżnieniu od całkowitej liczby parametrów.
Kluczowa innowacja
Rozdziela całkowitą pojemność modelu (liczbę wszystkich parametrów) od kosztu obliczeniowego pojedynczego tokena, mierzonego liczbą parametrów faktycznie aktywowanych.
Kategoria
Architektura
Poziom abstrakcji
Pojęcie
Poziom operacji
ModelInferencjaElement architektury
Zastosowania
Szacowanie kosztu i przepustowości inferencji modeli MoEPorównywanie modeli MoE z modelami gęstymi o podobnym budżecie obliczeniowymPlanowanie pojemności GPU/VRAM (pamięć ~ total, compute ~ active)Projektowanie architektur MoE (dobór liczby ekspertów i top-k)

Jak działa

W warstwie MoE sieć bramkująca (router) ocenia token i wybiera dla niego k ekspertów z puli N (np. top-2 z 8). Obliczenie przechodzi tylko przez wybranych ekspertów plus wagi zawsze aktywne (atencja, embeddingi, ewentualni eksperci współdzieleni). Liczba aktywnych parametrów to suma wag użytych na tej ścieżce; koszt FLOPs na token jest w przybliżeniu proporcjonalny do niej. Całkowite parametry to suma wag wszystkich ekspertów — wszystkie muszą być w pamięci, nawet jeśli dany token ich nie użyje. Stąd rozdział: koszt obliczeń ~ aktywne parametry, koszt pamięci ~ total parametry.

Rozwiązany problem

Pozwala skalować pojemność modelu (więcej parametrów = więcej wiedzy) bez proporcjonalnego wzrostu kosztu obliczeniowego inferencji. Rozwiązuje też problem mylącego porównywania modeli: samo „total params" zawyża oczekiwany koszt modeli MoE.

Komponenty

Pula parametrów całkowitychPojemność i koszt pamięci

Wszystkie wagi modelu, w tym wszyscy eksperci. Determinuje koszt pamięci/VRAM niezależnie od tego, ile jest aktywne na token.

Router / sieć bramkującaWybór aktywnych parametrów

Wybiera dla każdego tokena podzbiór ekspertów (top-k), decydując które parametry stają się aktywne.

Aktywowani eksperci (FFN)Źródło kosztu obliczeniowego na token

Wybrane bloki feed-forward faktycznie wykonujące obliczenie dla danego tokena.

Parametry zawsze aktywneStały składnik aktywnych parametrów

Atencja, embeddingi i ewentualni eksperci współdzieleni — liczone do aktywnych parametrów dla każdego tokena.

Implementacja

Pułapki implementacyjne
Mylenie aktywnych z całkowitymi parametramiŚrednia

Porównywanie modeli MoE i gęstych po total params zawyża oczekiwany koszt obliczeniowy MoE; po active params — zaniża wymagania pamięci.

Rozwiązanie:Zawsze podawaj obie liczby (active / total) przy porównaniach kosztu i pamięci.
Pamięć skaluje się z total, nie z activeWysoka

Mimo niskich aktywnych parametrów wszyscy eksperci muszą być w VRAM; naiwne szacowanie pamięci z active params jest błędne.

Rozwiązanie:Wymiaruj pamięć z total parametrów, a budżet obliczeniowy z aktywnych.
Niejednoznaczna definicja liczby aktywnychŚrednia

Różne raporty wliczają lub pomijają atencję, embeddingi i ekspertów współdzielonych, więc liczby bywają nieporównywalne.

Rozwiązanie:Sprawdź, co dany model wlicza do aktywnych parametrów, zanim porównasz.
Nierównomierne wykorzystanie ekspertówŚrednia

Słaby balans obciążenia routera sprawia, że efektywny koszt i jakość odbiegają od nominalnej liczby aktywnych parametrów.

Rozwiązanie:Stosuj straty balansujące obciążenie i monitoruj wykorzystanie ekspertów.

Ewolucja

Oryginalny paper · 2017 · Noam Shazeer
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Noam Shazeer
2017
Sparsely-Gated MoE Layer — aktywacja warunkowa
Punkt przełomowy

Shazeer i in. wprowadzają rzadko-bramkowaną warstwę MoE: tylko podzbiór sieci jest aktywny na przykład, rozdzielając pojemność od kosztu.

2021
Switch Transformer — rozdział parametrów od FLOPs
Punkt przełomowy

Model rzadki o „ogromnej liczbie parametrów, lecz stałym koszcie obliczeniowym"; skalowanie do bilionów parametrów przy stałym compute.

2024
Mixtral 8x7B — 47 mld total / 13 mld aktywnych

Otwarty model SMoE: dostęp do 47 mld parametrów, ale tylko 13 mld aktywnych w inferencji (8 ekspertów, top-2).

2024
DeepSeek-V3 — 671 mld total / 37 mld aktywnych

Duży model MoE z 671 mld parametrów total i 37 mld aktywnych na token.

2025
Llama 4 — 17 mld aktywnych przy 109–400 mld total

Scout (109 mld total, 16 ekspertów) i Maverick (400 mld total, 128 ekspertów) mają po 17 mld aktywnych parametrów na token.

Hiperparametry (konfigurowalne osie)

Liczba ekspertów (N)Wysoka

Rozmiar puli ekspertów; zwiększa total parametry, nie zmieniając bezpośrednio aktywnych.

Ekspertów na token (top-k)Krytyczna

Ilu ekspertów aktywuje się na token; wprost wyznacza liczbę aktywnych parametrów.

Rozmiar ekspertaWysoka

Liczba parametrów pojedynczego eksperta (FFN); skaluje i total, i aktywne.

Eksperci współdzieleniŚrednia

Eksperci aktywni dla każdego tokena; dokładają się do stałej części aktywnych parametrów.

Złożoność obliczeniowa

Złożoność czasowa: O(P_active) per token. Złożoność przestrzenna: O(P_total).

Paradygmat wykonania

Tryb główny
Rzadki

Aktywne parametry są pojęciem sensownym tylko przy aktywacji warunkowej/rzadkiej; w modelach gęstych active = total.

Wzorzec aktywacji
Top-K wybrane
Tryby dodatkowe
WarunkowyMieszany
Mechanizm routingu

Router wybiera k ekspertów na token, co bezpośrednio wyznacza zbiór aktywnych parametrów.

Równoległość

Poziom równoległości
Warunkowo równoległy

Eksperci mogą być rozproszeni między urządzenia (expert parallelism); które są aktywne, zależy od routingu danego tokena.

Zakres
InferencjaPomiędzy ekspertamiPomiędzy urządzeniami

Wymagania sprzętowe

Podstawowe

Niskie aktywne parametry dają wysoką przepustowość compute na token, ale total parametry wymagają dużej pamięci VRAM — model często memory-bound.