Transformer od zera · Self-attention od zera
Intuicja mechanizmu attention
Self-attention od zera
Wprowadzenie
Ta lekcja buduje intuicję: attention pozwala każdej pozycji sekwencji wybrać, z których innych pozycji warto pobrać informację. Zanim pojawią się wzory, ustalimy sens wag, kontekstu i maskowania.