Transformer od zera · Blok Transformera
Feed Forward Network
Blok Transformera
Wprowadzenie
Zrozumiesz, po co po attention pojawia się pozycyjna sieć feed-forward, jak rozszerza i zwęża wymiar reprezentacji oraz jak zachować zgodność z residualem.
Transformer od zera · Blok Transformera
Blok Transformera
Zrozumiesz, po co po attention pojawia się pozycyjna sieć feed-forward, jak rozszerza i zwęża wymiar reprezentacji oraz jak zachować zgodność z residualem.