HC
Jak działa
Ukryty stan wejściowy h0 jest powielany n razy, tworząc macierz hiper-ukrytą H0 o wymiarze n×d. W każdej warstwie działają dwa typy połączeń: depth-connections (uczone wagi łączące wejścia i wyjścia warstwy) oraz width-connections (macierz wymieniająca informacje między n strumieniami). W wariancie statycznym (SHC) wagi są stałe po inicjalizacji; w dynamicznym (DHC) zależą od znormalizowanego wejścia poprzez funkcje aktywacji tanh. Inicjalizacja jest tak dobrana, by na starcie treningu układ był równoważny sieci Pre-Norm. Typowe wartości współczynnika rozszerzenia to n=1,2,4,8, przy czym n=4 daje najlepsze wyniki (n=8 dodaje minimalnie).
Rozwiązany problem
Połączenia rezydualne i ich warianty (Pre-Norm, Post-Norm) cierpią na efekt huśtawki: konfiguracje ograniczające zanikanie gradientu sprzyjają kolapsowi reprezentacji, a te chroniące przed kolapsem pogarszają propagację gradientu. Hyper-connections pozwalają sieci uczyć się kompromisu zamiast go narzucać.
Komponenty
Uczone wagi łączące wejścia i wyjścia warstwy między różnymi głębokościami — uogólnienie skalarnego połączenia rezydualnego (waga 1) na uczoną macierz wag.
Macierz wag wymieniająca informacje między n równoległymi strumieniami ukrytego stanu w obrębie warstwy.
Ukryty stan rozszerzony na n kopii (H w R^{n×d}); na wejściu sieci powstaje przez n-krotne powielenie wektora wejściowego.
W wariancie dynamicznym wagi połączeń są przewidywane z bieżącego, znormalizowanego wejścia z użyciem aktywacji tanh, zamiast być stałe.
Oficjalna
Implementacja
Powielenie ukrytego stanu na n strumieni zwiększa zużycie pamięci (~15% dla n=2, do ~26% dla n=4), co może ograniczać rozmiar batcha.
Wagi połączeń muszą być zainicjalizowane tak, by na starcie treningu układ był równoważny sieci Pre-Norm; błędna inicjalizacja psuje stabilność treningu.
Ewolucja
Publikacja arXiv 2409.19606 przedstawiająca depth- i width-connections oraz warianty SHC/DHC jako alternatywę dla połączeń rezydualnych; walidacja na OLMo, OLMoE, ViT i DiT.
Hiperparametry (konfigurowalne osie)
Liczba równoległych strumieni ukrytego stanu. Testowane wartości: 1, 2, 4, 8; n=4 optymalne, n=8 daje minimalny dodatkowy zysk.
SHC (Static Hyper-Connections) — wagi uczone i stałe; DHC (Dynamic Hyper-Connections) — wagi zależne od wejścia. DHC daje najlepsze wyniki.
Złożoność obliczeniowa
Złożoność czasowa: O(n^2 · d) na warstwę (narzut width-connections). Złożoność przestrzenna: O(n · d) dla ukrytego stanu.
Paradygmat wykonania
Mechanizm jest gęsty (wszystkie strumienie aktywne), ale współpracuje zarówno z modelami gęstymi, jak i rzadkimi (MoE).
Wariant dynamiczny (DHC) przewiduje wagi połączeń zależnie od wejścia; wszystkie n strumieni pozostaje aktywne.
Równoległość
Obliczenia n strumieni (width-connections) są równoległe, ale propagacja przez warstwy pozostaje sekwencyjna w głąb, jak w klasycznych połączeniach rezydualnych.
Wymagania sprzętowe
To zmiana czysto architektoniczna z pomijalnym narzutem FLOPs (+0,15–0,2%); działa na dowolnym akceleratorze wspierającym trening transformerów.