Robocikowo>ROBOCIKOWO
Wnioskowanie

Przebieg w przód (forward pass)

1958AktywnyOpublikowano: 17 listopada 2026Aktualizacja: 17 listopada 2026Opublikowany
Przebieg w przód (forward pass, propagacja w przód) to obliczenie, w którym dane wejściowe przechodzą kolejno przez warstwy sieci neuronowej, od wejścia do wyjścia, dając predykcję. Jest podstawą inferencji oraz pierwszą fazą każdego kroku treningu (przed propagacją wsteczną).
Kluczowa innowacja
Definiuje sieć neuronową jako kompozycję funkcji przetwarzaną warstwa po warstwie od wejścia do wyjścia — obliczenie, które produkuje predykcję i jednocześnie zapisuje aktywacje potrzebne do późniejszej propagacji wstecznej.
Kategoria
Wnioskowanie
Poziom abstrakcji
Primitive
Poziom operacji
ModelWarstwaInferencjaTrening
Zastosowania
Inferencja: generowanie predykcji z wytrenowanego modeluPierwsza faza kroku treningowego przed propagacją wstecznąPrefill kontekstu w modelach autoregresyjnychProfilowanie kosztu obliczeniowego i opóźnienia modelu

Jak działa

1) Wczytaj wejście x (wsad przykładów) i parametry modelu. 2) Dla każdej warstwy l od pierwszej do ostatniej: oblicz a_l = f_l(a_{l-1}; W_l), gdzie f_l to operacja warstwy (np. liniowa + aktywacja). 3) Zapamiętaj aktywacje pośrednie, jeśli planowany jest trening (potrzebne do backprop). 4) Na końcu uzyskaj wyjście (logity → softmax → prawdopodobieństwa albo wartości regresji). 5) W inferencji zwróć predykcję; w treningu policz funkcję straty względem etykiet, co kończy fazę w przód i rozpoczyna fazę wstecz.

Rozwiązany problem

Przebieg w przód odpowiada na podstawowe pytanie: jak z wejścia i parametrów modelu obliczyć jego wyjście. Jest też warunkiem koniecznym uczenia — bez policzenia aktywacji i straty w przód nie da się policzyć gradientów w tył.

Komponenty

Operacje warstwRealizują właściwe obliczenie od wejścia do wyjścia.

Przekształcenia składowe: mnożenia macierzowe, funkcje aktywacji, normalizacje, uwaga — wykonywane kolejno.

Aktywacje pośrednieŁączą warstwy i umożliwiają późniejsze liczenie gradientów.

Wyjścia kolejnych warstw; w treningu są buforowane do użycia w propagacji wstecznej.

Warstwa wyjściowaPrzekłada reprezentacje na finalną predykcję.

Ostatnia transformacja produkująca logity/prawdopodobieństwa lub wartości regresji.

Ewolucja

Oryginalny paper · 1958 · Psychological Review · Frank Rosenblatt
The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain
Frank Rosenblatt
1958
Perceptron
Punkt przełomowy

Rosenblatt formalizuje obliczenie wyjścia neuronu z wejść — zalążek przebiegu w przód.

1986
Backpropagation ustala parę przód/tył
Punkt przełomowy

Rumelhart, Hinton i Williams opisują propagację wsteczną, która jawnie korzysta z aktywacji zapisanych w przebiegu w przód.

2017
Transformer i równoległy przebieg po tokenach

Architektura transformera umożliwia równoległy przebieg w przód po wszystkich pozycjach podczas treningu.

Hiperparametry (konfigurowalne osie)

Rozmiar wsaduWysoka

Liczba przykładów przetwarzanych równolegle; wpływa na przepustowość i zużycie pamięci.

1Inferencja o niskim opóźnieniu.
256+Trening / inferencja wsadowa o wysokiej przepustowości.
Precyzja numerycznaWysoka

Format liczb (FP32/FP16/BF16/INT8) używany w obliczeniach; wpływa na szybkość, pamięć i dokładność.

BF16Standard treningu/inferencji na nowoczesnych GPU.
INT8Skwantyzowana inferencja o niskim koszcie.

Złożoność obliczeniowa

Złożoność czasowa: O(suma po warstwach kosztu warstwy); warstwa liniowa: O(B·d_in·d_out). Złożoność przestrzenna: Inferencja: O(maks. rozmiar aktywacji warstwy); Trening: O(suma aktywacji wszystkich warstw).

Paradygmat wykonania

Tryb główny
Gęsty

Dla modeli gęstych przebieg w przód aktywuje wszystkie parametry; w modelach rzadkich (MoE) aktywowany jest podzbiór.

Wzorzec aktywacji
Wszystkie ścieżki aktywne
Tryby dodatkowe
Rzadki
Mechanizm routingu

W klasycznej gęstej sieci wszystkie ścieżki są aktywne; routing pojawia się dopiero w architekturach rzadkich, np. MoE.

Równoległość

Poziom równoległości
Częściowo równoległy

Operacje w obrębie warstwy i przykłady we wsadzie są w pełni równoległe; warstwy są sekwencyjne.

Zakres
InferencjaTreningPomiędzy tokenamiPomiędzy urządzeniami
Ograniczenia
!Warstwa l zależy od wyjścia warstwy l-1, więc warstwy są wykonywane sekwencyjnie (choć operacje w obrębie warstwy są silnie równoległe).
!Podczas generowania token po tokenie kolejne pozycje zależą od poprzednich, co ogranicza równoległość między tokenami.

Wymagania sprzętowe

Podstawowe

Przebieg w przód to głównie mnożenia macierzowe, idealne dla rdzeni tensorowych GPU.

Dobry fit

Jednostki systoliczne TPU są zoptymalizowane pod operacje macierzowe przebiegu w przód.