SwiGLU-H2
Jak działa
1) Dla każdego eksperta e i kanału pośredniego j dekwantyzowane są sparowane tensory ffn_gate_exps i ffn_up_exps (równolegle po wątkach OpenMP). 2) Liczona jest analityczna waga ważności drugiego rzędu I(e,j) = ‖W_gate^(e)[j,:]‖² · ‖W_up^(e)[j,:]‖², aproksymująca diagonalę Hesjanu błędu kwantyzacji przy izotropowych wejściach o jednostkowej wariancji. 3) Wektor I(e,j) trafia do quantize_row_iq1_s jako wektor ważności, dzięki czemu bity są przydzielane kanałom o największym wpływie na wyjście SwiGLU. 4) Warstwy brzegowe o wysokiej wrażliwości (np. {0,1,26,28,41,42}) są trzymane w IQ2_XXS, a wrażliwe środkowe w IQ1_M; masa ekspertów schodzi do IQ1_S (1,5625 bpw). Całość jest data-free (bez kalibracji) i liczona raz, przy transkodowaniu checkpointu.
Rozwiązany problem
Naiwna, nieskalibrowana kwantyzacja IQ1_S (1,5625 bpw) wszystkich 256 eksperckich warstw MoE załamuje dokładność bramkowania SwiGLU, ponieważ kanały aktywacji o wysokiej normie w W_gate ⊙ W_up są kwantyzowane z jednakową wagą błędu MSE. SwiGLU-H2 rozwiązuje to przez analityczne, drugorzędowe ważenie ważności kanałów — bez potrzeby zbioru kalibracyjnego.
Komponenty
I(e,j) = ‖W_gate^(e)[j,:]‖² · ‖W_up^(e)[j,:]‖². Iloczyn kwadratów norm sparowanych wierszy Gate i Up aproksymuje oczekiwany drugi moment kanału (diagonalę Hesjanu błędu) przy izotropowych wejściach. Liczona analitycznie, bez danych kalibracyjnych.
Wyjście kanału: h = SiLU(W_gate·x) · (W_up·x), wchodzące do ffn_down_exps. SwiGLU-H2 waży wiersze down-projekcji wg ważności I(e,j) sparowanych bloków Gate/Up.
Standardowy kwantyzator IQ1_S (1,5625 bpw) z llama.cpp/ggml, któremu SwiGLU-H2 dostarcza analityczny wektor ważności zamiast jednolitej wagi MSE.
Oficjalna
Wybrane warstwy brzegowe (wczesne/późne) są trzymane w IQ2_XXS (2,06 bpw) lub IQ1_M (1,75 bpw), gdy masa ekspertów schodzi do IQ1_S.
Oficjalna
Implementacja
Nieskalibrowana kwantyzacja IQ1_S z jednolitą wagą błędu załamuje bramkowanie SwiGLU — kanały o wysokiej normie tracą precyzję.
Zepchnięcie wszystkich warstw do IQ1_S bez zakotwiczenia wrażliwych warstw routingu obniża jakość.
Hiperparametry (konfigurowalne osie)
Format kwantyzacji masy ekspertów. SwiGLU-H2 jest dostrojony pod IQ1_S (1,5625 bpw), z wyższą precyzją dla warstw wrażliwych.
Zbiór warstw trzymanych w wyższej precyzji, by chronić routing i jakość (np. wczesne i późne warstwy).
Analityczna forma zamknięta zakłada izotropowe wejścia o jednostkowej wariancji; to upraszcza ważność do iloczynu kwadratów norm wierszy.
Paradygmat wykonania
Paradygmat odzwierciedla kontekst stosowania (rzadki MoE); sam SwiGLU-H2 to schemat kwantyzacji działający na eksperckich blokach SwiGLU.
SwiGLU-H2 kwantyzuje eksperckie warstwy FFN w rzadkim MoE, gdzie na token aktywowany jest tylko top-k ekspertów przez router.
Równoległość
Obliczanie wektora ważności I(e,j) jest w pełni równoległe po ekspertach i kanałach (OpenMP), bo każdy kanał jest niezależny. Sama kwantyzacja wykonywana jest raz, offline, przy transkodowaniu.
Wymagania sprzętowe
Zaprojektowany pod inferencję MoE na samym CPU x86_64 (AVX2 / AVX-512); skwantyzowane formaty (IQ1_S) dekodowane są jądrami AVX2/AVX-512. Działa też na ARM64 (NEON/SVE).