Sieci neuronowe od podstaw do nowoczesnej AI

Rozdział wprowadzający dla początkujących: czym jest AI, ML i deep learning, jak działa sztuczna sieć neuronowa, trzy paradygmaty uczenia oraz cykl życia projektu ML. Bez kodu, bez formuł — tylko intuicja i analogie z życia codziennego.

Fundament matematyczny przed PyTorchem: skalar, wektor, macierz i tensor z intuicją geometryczną, operacje na tensorach, pochodna i chain rule, gradient funkcji wielu zmiennych, gradient descent na prostej funkcji 1D oraz Python + NumPy jako most do PyTorcha. Bez epsilon-delta — tylko intuicja, kierunki i strzałki na mapie loss.

Pierwszy dzialajacy klasyfikator: jak dane staja sie prognoza. Poznajesz dataset, loss, petle treningowa (forward → loss → gradient → update), ewaluacje i kodujesz klasyfikator XOR w czystym NumPy.

Podstawy pracy w PyTorch: tensory i ich operacje, autograd i computational graph, warstwy przez nn.Module oraz pełny cykl treningu z metrykami i pracą na GPU.

Od pojedynczego perceptronu po wielowarstwową sieć MLP: funkcje aktywacji (sigmoid, ReLU, GELU, tanh), Universal Approximation Theorem, mechanika forward pass, funkcje straty MSE i Cross-Entropy oraz implementacja 2-warstwowej sieci od zera w czystym NumPy.

Algorytm propagacji wstecznej od matematycznego fundamentu po praktyczną implementację: reguła łańcucha jako rdzeń backpropu, symetria forward i backward pass, budowa autograd-a w stylu micrograd Karpathy, ręczne wyprowadzenie gradientów przez cross-entropy, warstwę liniową i tanh oraz wpływ inicjalizacji Xavier i He na zdrowy przepływ gradientu.

Praktyczna strona treningu sieci neuronowych: geometria krajobrazu strat i mini-batch SGD, momentum i Adam jako rodzina adaptacyjnych optymalizatorów, harmonogramy learning rate (step decay, cosine annealing, warmup), systematyczna diagnostyka treningu (overfit single batch, sanity-check loss na inicjalizacji), histogramy gradientów, problem dead neurons i gradient clipping oraz klasyczny bias-variance tradeoff jako framework diagnozy underfittingu i overfittingu.

Regularyzacja jako zestaw technik utrzymujących generalizację modelu: dropout jako stochastyczne wygaszanie neuronów z różnym zachowaniem w trybie train vs eval, weight decay i L2 jako kara za duże wagi, batch normalization rozwiązująca problem internal covariate shift, layer normalization jako alternatywa dla małych batchy i sekwencji o zmiennej długości oraz early stopping wraz z systematycznym monitorowaniem treningu (krzywe loss, podział train/val, kryteria stopu).

Sieci konwolucyjne jako fundament współczesnego computer vision: splot 2D z filtrem jako detektorem cech, znaczenie paddingu, stride i equiwariancji translacyjnej; pooling i przepływ wymiarów przestrzennych przez kolejne warstwy; ewolucja architektur od AlexNet przez VGG do ResNet i odpowiedź na pytanie co i dlaczego się zmieniło; skip connections oraz bloki rezydualne rozwiązujące problem degradacji w bardzo głębokich sieciach (He et al. 2015); transfer learning jako ekstrakcja cech i fine-tuning pretrenowanych modeli.

Jak otworzyć czarną skrzynkę głębokiej sieci: wizualizacja wyuczonych filtrów i map aktywacji w CNN (Zeiler & Fergus 2014); GradCAM jako gradientowo-ważona mapa istotności klasy (Selvaraju et al. 2017); adversarial examples i FGSM jako dowód kruchości decyzji modelu (Goodfellow et al. 2015); profilowanie modelu — liczba parametrów, FLOPs, latencja inferencji jako konkretne metryki kosztu obliczeniowego.

Dlaczego sieci feedforward nie wystarczają dla danych sekwencyjnych i jak rekurencja rozwiązuje ten problem. Klasyczna RNN i jej trening przez BPTT (backpropagation through time, Werbos 1990). Patologia gradientów w głębokich rozwinięciach czasu — vanishing i exploding (Bengio et al. 1994). LSTM jako odpowiedź na vanishing gradient z bramkami zapominania, wejścia i wyjścia (Hochreiter & Schmidhuber 1997). GRU jako uproszczona alternatywa LSTM z mniejszą liczbą bramek (Cho et al. 2014).

Mechanizm uwagi to wynalazek, który zastąpił rekurencję jako podstawę modelowania sekwencji i dał początek architekturze Transformera (Vaswani et al. 2017). Rozdział omawia motywację — ograniczenia RNN przy długoterminowych zależnościach (vanishing gradients, brak paralelizmu) — następnie scaled dot-product attention z trójką Query/Key/Value, multi-head attention i positional encoding, pełny blok encodera (FFN, residual, Layer Norm), tokenizację BPE oraz implementację mini-Transformera od zera w PyTorch.

Rozdział wprowadza modele generatywne uczenia głębokiego: autoenkodery i ich przestrzeń latentną, wariacyjne autoenkodery (VAE) z reparametrization trickiem i ELBO oraz sieci GAN — od adversarial trainingu po typowe patologie (mode collapse, niestabilność) i techniki ich łagodzenia.