Transformer od zera · Embeddingi i pozycja tokenów
Learned positional embeddings
Embeddingi i pozycja tokenów
Wprowadzenie
Poznasz uczone embeddingi pozycyjne: prosty sposób przypisywania pozycji własnych wektorów oraz jego ograniczenia przy długości kontekstu.