Przebieg w przód (forward pass)
Jak działa
1) Wczytaj wejście x (wsad przykładów) i parametry modelu. 2) Dla każdej warstwy l od pierwszej do ostatniej: oblicz a_l = f_l(a_{l-1}; W_l), gdzie f_l to operacja warstwy (np. liniowa + aktywacja). 3) Zapamiętaj aktywacje pośrednie, jeśli planowany jest trening (potrzebne do backprop). 4) Na końcu uzyskaj wyjście (logity → softmax → prawdopodobieństwa albo wartości regresji). 5) W inferencji zwróć predykcję; w treningu policz funkcję straty względem etykiet, co kończy fazę w przód i rozpoczyna fazę wstecz.
Rozwiązany problem
Przebieg w przód odpowiada na podstawowe pytanie: jak z wejścia i parametrów modelu obliczyć jego wyjście. Jest też warunkiem koniecznym uczenia — bez policzenia aktywacji i straty w przód nie da się policzyć gradientów w tył.
Komponenty
Przekształcenia składowe: mnożenia macierzowe, funkcje aktywacji, normalizacje, uwaga — wykonywane kolejno.
Wyjścia kolejnych warstw; w treningu są buforowane do użycia w propagacji wstecznej.
Ostatnia transformacja produkująca logity/prawdopodobieństwa lub wartości regresji.
Ewolucja
Rosenblatt formalizuje obliczenie wyjścia neuronu z wejść — zalążek przebiegu w przód.
Rumelhart, Hinton i Williams opisują propagację wsteczną, która jawnie korzysta z aktywacji zapisanych w przebiegu w przód.
Architektura transformera umożliwia równoległy przebieg w przód po wszystkich pozycjach podczas treningu.
Hiperparametry (konfigurowalne osie)
Liczba przykładów przetwarzanych równolegle; wpływa na przepustowość i zużycie pamięci.
Format liczb (FP32/FP16/BF16/INT8) używany w obliczeniach; wpływa na szybkość, pamięć i dokładność.
Złożoność obliczeniowa
Złożoność czasowa: O(suma po warstwach kosztu warstwy); warstwa liniowa: O(B·d_in·d_out). Złożoność przestrzenna: Inferencja: O(maks. rozmiar aktywacji warstwy); Trening: O(suma aktywacji wszystkich warstw).
Paradygmat wykonania
Dla modeli gęstych przebieg w przód aktywuje wszystkie parametry; w modelach rzadkich (MoE) aktywowany jest podzbiór.
W klasycznej gęstej sieci wszystkie ścieżki są aktywne; routing pojawia się dopiero w architekturach rzadkich, np. MoE.
Równoległość
Operacje w obrębie warstwy i przykłady we wsadzie są w pełni równoległe; warstwy są sekwencyjne.
Wymagania sprzętowe
Przebieg w przód to głównie mnożenia macierzowe, idealne dla rdzeni tensorowych GPU.
Jednostki systoliczne TPU są zoptymalizowane pod operacje macierzowe przebiegu w przód.