Architektura

Residual Connection

2015AktywnyOpublikowano: 29 września 2026Aktualizacja: 29 września 2026Opublikowany

Skrót y = F(x) + x, wprowadzony w ResNet, umożliwiający stabilny przepływ gradientu w głębokich sieciach.

Kluczowa innowacja

Połączenie skrótowe (skip) dodające wejście warstwy do jej wyjścia, dzięki czemu warstwa uczy się reszty (residuum) — fundament trenowania bardzo głębokich sieci.

Kategoria

Architektura

Poziom abstrakcji

Building block

Poziom operacji

Element architekturyWarstwa

Zastosowania

Głębokie sieci konwolucyjne (ResNet)Bloki Transformera (uwaga + MLP)Trening sieci o setkach warstwStabilizacja przepływu gradientu

Jak działa

Zamiast uczyć docelowego odwzorowania H(x), blok uczy się reszty F(x) = H(x) − x, a wyjście to F(x) + x. Skrót tożsamościowy zapewnia ścieżkę o pochodnej 1, więc gradient nie zanika przy propagacji wstecz przez wiele warstw. W Transformerach skrót otacza podwarstwy (uwaga, MLP), zwykle z normalizacją (pre-/post-LN).

Rozwiązany problem

Bardzo głębokie sieci bez skrótów cierpią na zanikające gradienty i degradację — trudniej je optymalizować niż płytsze. Połączenie rezydualne udrażnia przepływ gradientu.