Transformer od zera · Embeddingi i pozycja tokenów
Positional encoding sinusoidalny
Embeddingi i pozycja tokenów
Wprowadzenie
Zrozumiesz, po co Transformer potrzebuje informacji o kolejności tokenów oraz jak sinusoidalne kodowanie pozycji dodaje ją bez uczenia osobnych parametrów.