Architektura
manifold-constrained Hyper-Connections
BadawczyOpublikowano: 29 września 2026Aktualizacja: 29 września 2026Opublikowany
Rozszerzenie Hyper-Connections nakładające ograniczenie rozmaitościowe na macierze połączeń między warstwami.
Kluczowa
innowacja
Wariant Hyper-Connections, w którym wyuczalne wagi połączeń są ograniczone do rozmaitości (manifold), aby ustabilizować trening i ograniczyć narzut przy zachowaniu elastyczności ponad zwykłym połączeniem rezydualnym.
Kategoria
Architektura
Poziom abstrakcji
Building block
Poziom operacji
Element architekturyWarstwa
Zastosowania
Stabilizacja treningu głębokich TransformerówAlternatywa dla połączeń rezydualnychRedukcja kolapsu reprezentacjiPretraining LLM (gęsty i rzadki)
Jak działa
Podobnie jak Hyper-Connections, mHC zastępuje pojedyncze połączenie rezydualne zestawem wyuczalnych połączeń między reprezentacjami z różnych głębokości i szerokości. Różnica polega na rzutowaniu/parametryzacji wag na rozmaitość spełniającą narzucone ograniczenia (np. norma, ortogonalność), co reguluje dynamikę propagacji sygnału i gradientu.
Rozwiązany problem
Nieograniczone, wyuczalne wagi Hyper-Connections mogą prowadzić do niestabilności treningu i dodatkowego narzutu. mHC ma je okiełznać przez ograniczenie rozmaitościowe.
Komponenty
Macierz połączeń rozmaitościowychRdzeń mechanizmu
Wyuczalne wagi połączeń ograniczone do rozmaitości.
Ograniczenie rozmaitościoweStabilizacja
Reguła (np. norma/ortogonalność) definiująca dopuszczalne wagi.
Ewolucja
2024
Hyper-Connections — baza mechanizmu (uogólnienie połączeń rezydualnych)
Punkt przełomowy