Transformer od zera · Fundamenty Transformera
Sekwencje, tokeny i reprezentacje
Fundamenty Transformera
Wprowadzenie
Zanim zaimplementujesz attention, musisz rozumieć, czym jest sekwencja, token, słownik, embedding oraz maska. Te pojęcia decydują o kształtach tensorów w PyTorch.