Sieci neuronowe od podstaw do nowoczesnej AI · Od neuronu do MLP: architektura i forward pass
Universal Approximation Theorem — dlaczego nieliniowość jest konieczna
Od neuronu do MLP: architektura i forward pass
Wprowadzenie
Universal Approximation Theorem (UAT) Cybenko (1989) i Hornika (1991) to teoretyczny fundament sieci neuronowych: jedna warstwa ukryta z wystarczającą liczbą neuronów i nieliniową aktywacją może aproksymować dowolną funkcję ciągłą na zbiorze zwartym z dowolną dokładnością. Ta lekcja wyjaśnia precyzyjne sformułowanie tw., różnicę między uniwersalnością przy szerokości a głębokości, ograniczenia praktyczne (eksponencjalna liczba neuronów), oraz dlaczego współczesne sieci są głębokie a nie tylko szerokie. Zobaczysz konkretną konstrukcję bumpową udowadniającą UAT i zrozumiesz dlaczego liniowy MLP załamuje się formalnie.